Een eeuw geleden werd het Scheldezicht nog bepaald door het kasteel van Bourgondië, ook Nieuw Kasteel genoemd (in tegenstelling tot het Oud Kasteel van Pamele), gebouwd i.o.v. Filips de Stoute in de 14de eeuw.
Oorspronkelijk bestond de versterking uit een omwalling met vier hoektorens, waaronder een “donjon”, d.i. een middeleeuwse woontoren.
In 1415-16 liet Jan zonder Vrees de versterking veranderen en twee torens bouwen, de zgn. Perretoren op de linkeroever en de zgn. Bourgondische toren op de rechteroever. Ze werden met elkaar verbonden door een brug. Hij vestigde in het kasteel de Raad van Vlaanderen.
In de 15de eeuw evolueerde de versterking naar een residentieel kasteel met kleine binnenplaats. Filips de Goede vergrootte de burcht en maakte er een prachtig slot van. Het was de verblijfplaats van verschillende hertogen van Bourgondië.  Menig gekroond hoofd verbleef hier zoals bijvoorbeeld Keizer Karel en Filips II. Tijdens zijn verblijf in 1521 heeft Keizer Karel Johanna Van der Gheynst van Nukerke, die in dienst was van de gravin de Lalaing (echtgenote van de gouverneur der stad), zwanger gemaakt. 9 maanden later schonk zij het leven aan een meisje dat als Margaretha van Parma een belangrijke rol in onze geschiedenis zou spelen.
Het kasteel werd volledig verbouwd in 1617 als ambtswoning van de stadsgouverneur en was m.a.w. het “Gouvernement”.
In 1679 werd dicht bij het kasteel, dat toen als kazerne diende, een monumentale fontein opgericht die in de drinkwatervoorziening van de troepen voorzag. In 1717 zou op de kaai bij het Spei een fontein komen voor het publiek.
In 1719 werd een gedeelte van het kasteel gesloopt en werd een nieuwe voorbouw gebouwd.
In 1782 werd het kasteel verkocht aan de Gentse ondernemer P.F. Schepers. Deze kreeg in hetzelfde jaar een octrooi voor de inrichting van een economische graanmaalderij met drie molens. De molens werden gebouwd door de architecten Ph. Van der Meersch en A. Van den Hende. In 1790 werd het kasteel door een volksopstand ernstig beschadigd. In 1792 richtte Schepers er de grootste houtzagerij van het land in.
In 1817 werd het eerste gerechtshof van Oudenaarde in het kasteel ondergebracht (tot 1824).
De molen werd tenslotte onteigend in 1825.
Later deed het gebouw dienst als militair hospitaal, schoolgebouw, vredegerecht en stadsbibliotheek om tenslotte in 1967 gesloopt te worden voor de uitvoering van de Scheldewerken. Hiermee kwam een triest einde aan het bestaan van het “rattenkasteel”.

Oudenaarde is eveneens een gevangenisstad. Ook de gevangenis werd gebouwd op de gronden van het na de Franse Revolutie afgeschafte klooster van Sion. De eerste gevangenis werd in de eerste helft van de 19de eeuw opgetrokken. De voormalige kapel van Sion werd geïntegreerd in de het 19de eeuwse gevangeniscomplex en tenslotte in 1918 vernietigd. Het is een typerend Y-vormig complex binnen een rechthoekige dubbele ommuring met rondgang, nieuw gebouwd ten oosten van bestaande gevangenis in eclectische stijl van 1904-08. Na WOI werden het inkomgebouw, de portiersloge, de beheersgang en de dienstgebouwen opnieuw opgebouwd in dezelfde stijl (1922).

De brug over de Schelde lag eeuwenlang ter hoogte van Huis de Lalaing. De brug over de Schelde was oorspronkelijk van hout, later van steen. In 1275 was er sprake van de “Steenbrug” en nog later de zgn. “Hoge Brug” of “Hooge Steenbrugge” of “Lange Brug”. De benaming komt van het feit dat de brug met haar 3 bogen tamelijk hoog boven de warterspiegel uitkwam, zodat de schepen met opgerolde zeilen er konden onderdoor varen. De Hoge brug werd afgebroken in 1819 en vervangen door een houten draaibrug. In 1856 werd er een ijzeren draaibrug geplaats die dienst deed tot 1904 (gemaakt door de ijzergieterij “Phoenix” in Gent). In 1905 was de nieuwe brug klaar. Meer over de bouw van deze brug via krantenartikels …
Over deze brug passeerde de tramlijn van Oudenaarde naar Geraardsbergen.
In 1918 werd de nieuwe brug opgeblazen en vervangen door een ophaalbrug.
Na de verlegging van de sluizen naar de Eindries kwam in 1939 een electrische ophaalbrug tot stand.
De huidige hefbrug dateert van 1980-82 en werd geplaatst tussen Tussenbruggen en de Bergstraat.
In de omgeving van de brug alsook van de sluis op de Louise-Mariekaai waren er vroeger nogal wat cafés die de dorstige schippers dienden te laven.

Tenslotte is er het Huis de Lalaing. Deze patriciërswoning werd gebouwd op de plaats van het vroegere pandjeshuis of Lombardenhuis van Pamele. In 1519 werd het vermeld als het Hof van Schorisse, woning van de stadsgouverneur de Lalaing, heer van Schorisse.
Eind 17de eeuw werd het eigendom van de familie de Kerckhove, heren van Etikhove en Ladeuze.
Het gebouw heeft vijf bouwfasen gekend. De oudste kern dateert van de jaren 1600. De straatgevel kreeg haar huidig uitzicht in de 18de eeuw. De vensters werden vergroot, het raamwerk werd gemoderniseerd, de bovenmuren kregen een grote driehoekige bekroning en de gevel werd met pleisterwerk bekleed. Het interieur werd eveneens in de 18de eeuw veranderd met versieringen in stuccowerk met rococomotieven.
In 1919 werd het gebouw eigendom van chirurg De Meulemeester van de kliniek aan de overzijde van de Schelde.