“Langs de aloude Schelde prijkt dit juweel van bouwkunde, dat den roem helpt uitmaken onzer antieke gebouwen en zich heerlijk reeds eeuwen weet te spiegelen in den vloed”.

De eerste kerk van Pamele, waarschijnlijk een doodeenvoudige kapel, werd in de 13de eeuw vervangen door de huidige kerk. De bouwfase duurde van 1235 tot 1300. Door deze relatief korte bouwperiode werd slechts één stijl, nl. de Scheldegotiek of Doornikse gotiek, gebruikt dit in tegenstelling tot bijvoorbeeld de Walburgakerk.
Een ingemetselde steen in het oudste gedeelte van de kerk met bouwopschrift onthult het jaartal 1234 en de meester Arnulf/Arnold de Binche. Hierdoor wordt de koorpartij gedateerd. Kort daarna werd een toren en transept gebouwd met vermoedelijk eind 13de eeuw het schip.
Begin 16de eeuw werd het schip en transept overwelfd. Toen de beeldenstormende geuzen hier hoogtij vierden, kreeg de kerk het erg te verduren. Heel wat meubilair werd vernield zodat dit in de 17de eeuw diende vernieuwd te worden.
In 1778 was de kerk in dermate slechte staat dat een commissie van architecten besloot tot afbraak over te gaan omdat er instortingsgevaar was. Het is evenwel nooit zover gekomen.
Tijdens de Franse omwenteling liep de kerk opnieuw gevaar. Gedurende lange tijd werd deze gebruikt als kolenmagazijn. Willem Liedts, schepen van de stad, redde de kerk van de ondergang door deze op te kopen.

In de periode 1877–1904 gebeurde een grondige herstelling/restauratie onder leiding van architect August Van Assche die de kerk ontdeed van alle barokke en andere later toegevoegde elementen. Het renaissanceportaal verdween alsook het sacramentskapelletje aan het koor. Tevens werd de ogiefvorm van de ramen hersteld. De barokke biechtstoel uit de 17de eeuw bleef echter behouden. De aankleding van het koor werd door August Van Assche ontworpen. Het hoogaltaar heeft een verguld zandstenen retabel met beeldjes van de apostelen. Op het tabernakel staat een prachtig ciborium in de vorm van een torenspits. Mede door deze restauratie wordt de kerk aanzien als één der zuiverste en sierlijkste voorbeelden van Scheldegotiek die de middeleeuwen heeft voortgebracht.

De basilikale kerk heeft de vorm van een neo-gotisch latijns kruis. Binnenin ziet men het triomforum, de overlangse galerij of doorgang. Aan de buitenzijde van de kerk is een tweede overlangse galerij voor de bovenvensters. Dit systeem van dubbele galerij is één van de kenmerken van de Scheldegotiek.
Vermeldenswaard is zeker het authentieke dakgebinte uit de 13de eeuw. Het is een fantastische constructie, één kluwen van balken.
De meeste glasramen (waaronder deze van glazenier Ladon) zijn pas uit de eerste helft van de 20ste eeuw.
De kerk bevat twee praalgraven van baronnen van Pamele achteraan in de zijbeuken (Josse de Joigny + 1504 en Flip de Locquenghien + 1498, heren van Oudenaarde).

Het zwartzusterklooster werd vermoedelijk opgericht naast de Onze-Lieve-Vrouwekerk van Pamele in de tweede helft van de 13de eeuw onder het patronaat van de heilige Augustinus. De zusters stonden in voor ziekenverzorging en onderwijs.
De huidige kloostergebouwen dateren vermoedelijk grotendeels van na de zware beschadigingen bij de belegering van Oudenaarde door de Fransen in 1684 onder leiding van generaal d’Humières. Andere kloosters werden eveneens ernstig beschadigd of vernield.
Het complex heeft een L-vormige aanleg en bestaat uit diverse vleugels. Hierin vinden we een spreekkamer en salon met 18de eeuwse schouwen terug, alsook een kloostergang en een refter of kapittelzaal. De refter heeft een fraai 18de eeuws interieur met o.m. een schilderij van de heilige Augustinus die aan de kloosterzusters de nieuwe kloosterregel overhandigt na de vernielingen van 1684.