In 1360 werd het de “Ramen” genoemd.
De abdij van Ename had vanaf 1506 tot aan de Franse Revolutie binnen de stadsmuren van Oudenaarde een soort vluchthuis in eigendom, waar de kloosterlingen terecht konden in tijden van gevaar en oorlogstroebelen. Een legende beweert dat er zelfs een onderaardse gang zou bestaan hebben tussen de abdij van Ename en de refuge.
In 1797 werd de refuge in vervallen toestand verkocht aan particulieren. Zo was het in de tweede helft van de 19de eeuw eigendom van de familie Liefmans.
Het domein was vroeger omgeven door een in 1650 gebouwde muur alsook door de Schelde, de Grachtschelde en een stadsomwalling.
Men had toegang tot het complex, via een brugje over de Grachtschelde vanuit de Koningstraat, door een gemetste toegangspoort.
Thans is het gebouw mooi gerestaureerd.

Boven: Foto genomen vanop het brugje over de Grachtschelde aan de Schelde. Het torentje in de tuin van de refuge is tot op heden bewaard gebleven.
Midden: zicht over de Grachtschelde met links het verdwenen deel van het jezuïetenklooster in de Koningsstraat en in het midden het brugje dat toegang verschafte tot de refuge.
 
 

Boven:
De Koningsstraat met de toegangspoort tot de refuge.
 
 
2 plannen uit het stadsarchief van Oudenaarde. Links een beeld van de refuge ca. 1650 omringd door de Grachtschelde in het westen, de Schelde in het oosten en een stadsgracht in het noorden. Rechts een plan van het jezuïetenklooster en de refuge eind 18de eeuw.