De Kasteelstraat werd genoemd naar het kasteel van Pamele.
De “Borch van Oudenaarde” was de verblijfplaats van de baron van Pamele, die ook heer en gouverneur van Oudenaarde was.
De eerste burcht dateert van ca. 1000 en werd opgericht in opdracht van graaf Boudewijn IV. De “Turrus Aldenardensis” wordt in 1064 voor het eerst vermeld. In 1127 is er sprake van een stenen toren.
In de 13de eeuw werd de 11de eeuwse donjon vervangen door een kasteel met uitspringende torens.
In de 17de eeuw was de versterking dermate vervallen dat de toenmalige heer van Oudenaarde en baron van Pamele in 1627 een nieuw kasteel liet optrekken.
Uit o.m. de tekening van Sanderus uit 1641-1644 blijkt dat het kasteel omwald was en een onregelmatige achthoekige vorm had. De toegang tot het kasteel bestond uit een brug met een groot poortgebouw met twee torens.
Het kasteel brandde nagenoeg volledig af bij de beschietingen van de stad door Lodewijk XIV. In 1782 tenslotte werd het gesloopt.
De grond werd in kavels verkocht en er werd een straat, nl. hoe kan het ook anders, de “Kasteelstraat”, dwars doorheen het vroeger kasteel getrokken (1786). In 1806 werd de straat voorzien van kasseien.

In de straat staan talrijke 19de eeuwse gebouwen, alsook enkele gebouwen die reeds dateren van het einde van de 18de eeuw zoals o.m. het imposante huis waar vroeger de administratieve diensten van de stad gevestigd waren en momenteel o.m. de politierechtbank. Dit gebouw werd vermoedelijk gebouwd tussen 1787 en 1794 en heeft een deels gekasseide binnenplaats die gevormd wordt door de bijgebouwen aan weerszijden van het hoofdgebouw. Het grootste gedeelte van de prachtige tuin behoort tot de woning van notaris Vandermeersch uit de Burgschelde.
De Kasteelstraat kende een werkmansbeluik dat de Koekop werd genoemd naar een huidevetterij die daar vroeger gevestigd was.

Daarnaast stond op de hoek van de straat tot enkele jaren terug nog het rustoord en klooster H. Familie van de zwartzusters. Het was een neogotisch kloostercomplex, hetwelk een afdeling was van het zwartzusterklooster, en werd opgetrokken in baksteen in 1886.

Tot begin 20ste eeuw stond aan de Schelde, een watermolen de zgn. “Speymolen”. Oorspronkelijk was dit een graanmolen, later potloodmolen, volmolen (1672-73), graanmolen (1679) en oliemolen (vanaf 18de eeuw). In 1850 werd een nieuwe oliemolen naast de bestaande gebouwd. In 1864 werden beide molens verenigd. De gebouwen werden nogmaals vergroot in 1878. In 1884 werd een nieuwe stoommachine geplaatst. In 1887 werd de molen verkocht aan schepen L. Van der Stichelen. In 1908 werd de molen onteigend en vervolgens gesloopt.

Wat heden nog overblijft van de bebouwing op de Achterburg van een eeuw terug zijn enkel het begijnhof en een rij arbeidershuisjes, met de achterzijde palend aan het Begijnhof, daterend uit de 19de eeuw. De rest van de straat werd afgebroken wegens de verbreding en rechttrekking van de Schelde.

Op de Achterburg bevond zich vroeger de vismijn. Deze werd in de 19de eeuw verplaatst naar de Kasteelstraat (bij de afbraak van het Spei verdween evenwel de vismijn in 1887).
Op de vrijgekomen plaats kwam het “gasgesticht”. Enkele delen van de stad werden reeds met gaslantaarns verlicht.
Op de kaai nabij de Achterburg lag een eindstationnetje van de buurtspoorwegen dat fungeerde als goederenmagazijn en los- en laadkaai.

Het eerste begijnhof was ondergebracht in het huis “De Cluys” achter het kerkhof van Oudenaarde en de St-Walburgakerk. Het lag tussen het minderbroederklooster en het hospitaal. Dit was geschonken door de pastoor van Walburga.
In 1449 werden hun goederen afgestaan aan de damen van het hospitaal. In ruil kregen ze enkele huizen in de “Borch” aan de linkeroever van de Schelde.
In 1516 werd een begijnhofkapel gebouwd en ingewijd. Het is een laatgotische georiënteerde zaalkapel met gewitte gevels onder een zadeldak met koperen zeshoekig klokkentorentje onder een spits.
In 1522 werden de statuten herzien en contractueel vastgelegd. Stilaan werden aanpalende huizen door aankoop in het begijnhof opgenomen.
In 1567 werd de kapel door de beeldenstorm vernield en later opnieuw opgebouwd.
Het begijnhof werd aangelegd rondom een rechthoekige binnenplaats. Het woongedeelte aan de straatkant (aan weerskanten van de toegangspoort met beeltenis van de heilige Rochus) is het oudste gedeelte. In 1572 werd immers het huis van de kapelaan aan de straatkant aan het begijnhof geschonken.
In de 17e eeuw was er een belangrijke bouwcampagne (zie o.m. de gedateerde ankers van 1616). Tevens was er een belangrijke uitbreiding in de 19e en begin 20ste eeuw.
Tijdens het Frans bewind in 1796 werd de gemeenschap opgeheven. In 1839 werd het door het Bestuur der Burgerlijke Godshuizen opnieuw verkocht aan de begijnen. In 1869 kocht de bisschop van Gent het over.
De laatste begijn overleed in 1960.