Het Liedtskasteel in het Liedtspark, voorheen ook wel het kasteel van de Eindries genoemd, was het voormalig zomerverblijf van de familie Liedts uit de tweede helft van de 19de eeuw. In de jaren 1790 kocht Guillaume Liedts een domein op de Eindries, dat was vrijgekomen na de afbraak van de stadsversterking van Vauban. Immers op bevel van Jozef II werden al de stadsversterkingen te koop gesteld. Het merendeel kwam in handen van Guillaume Liedts.
De familie Liedts legde op het domein aan de Eindries hovingen aan naar Engels model. Charles Liedts trok er een witbepleisterd kasteel op in neoclassicistische stijl. Zijn zoon Amedé Liedts verbouwde het in 1883 in een eclectische bouwstijl met neorenaissance elementen.

Charles Liedts (1802-1878) was historisch gezien één van de beroemdste inwoners van Oudenaarde. Toen hij in 1802 in Oudenaarde werd geboren, speelde zijn familie al meer dan een eeuw een prominente rol in het lokale maatschappelijke leven. De wijnhandelaar Guillelmus Liedts – een grootoom van Charles – was in 1789 luitenant van het patriottenleger en ten tijde van de Belgische Republiek zetelde hij als schepen. Charles’ vader, Laurent Liedts, zetelde tijdens het Napoleontische regime en de Hollandse periode in de gemeenteraad en was ontvanger van de Oudenaardse burgerlijke hospitalen. Hij stamde uit een Oudenaards geslacht van brouwers en grootgrondbezitters.

In 1823 was hij reeds doctor in de rechten en advocaat in Oudenaarde.
Tijdens de Brabantse omwenteling in 1830 was hij één van de leiders van de Oudenaardse revolutionairen.
Door zijn aandeel in de revolutie benoemde het Voorlopig Bewind hem in oktober 1830 tot procureur bij eerste aanleg te Oudenaarde, in december 1830 tot procureur te Gent en in 1831 tot voorzitter van de rechtbank van 1° aanleg te Antwerpen. Hij werd lid van het Nationaal Congres en nadien zelfs secretaris. Hij was lid van de kamer van volksvertegenwoordigers voor Oudenaarde (1831-1848), minister van binnenlandse zaken (1840-1841), gouverneur van Henegouwen (1841), voorzitter van de kamer van volksvertegenwoordigers (1843-1848), gouverneur van Brabant (1845), minister van staat (1847), minister van financiën (1852-1855).
Tevens was hij een vriend van koning Leopold I die hem in 1861 tot de adelstand verhief met de titel van baron. Door toedoen van Leopold I werd hij gouverneur van de Generale Maatschappij (1862-1877).

Hoewel hij zich na zijn loopbaan wilde terugtrekken in zijn geboortestad, tussen zijn kunstcollectie en zijn boeken, om er zich te wijden ook aan zijn grote passie, de botanica, overleed Liedts in 1878 in Brussel.

Na de dood van Charles, liet zijn zoon Amedé (1839-1907), zoals reeds vermeld, het huidige kasteel Liedts bouwen. Architect was Edmond Vandevijver (1837-1891) uit een belangrijke Oudenaardse kunstfamilie.
In 1907 schonk Amedé bij testament het kasteel en het bijhorende park van 6 ha aan de stad. De voorwaarde was dat het onverdeeld een publieke invulling diende te hebben. De schenking bevatte ook een kunstcollectie, zijn bibliotheek en een collectie munten en penningen. De kunstwerken vormen de kern van het huidige stedelijk museum van Oudenaarde. De meer dan 4000 boekbanden met uiteenlopende onderwerpen, munten en penningen worden bewaard op het Oudenaardse stadsarchief. In het legaat staat eveneens uitdrukkelijk dat de volkstuintjes naast het park er altijd moeten blijven.
Enkele jaren later, tijdens WOI zou het kasteel dienst doen als casino voor de Duitse officieren.
Na WOI bood het kasteel tijdelijk onderdak aan de Oudenaardse rechtbank in afwachting van de bouw van het nieuwe justitiepaleis.

De Engelse tuin is een landschapspark met grillige vijver met ijskelder en brugje met romantische ruïne van een Romaanse toren aangelegd in de tweede helft van de 19de eeuw. Tussen het parkhek en het kasteel staat de zogenaamde Vijflantaarn die vroeger op de Grote Markt stond.
Het kasteel zelf is opgetrokken uit bak- en zandsteen in eclectische stijl, met voornamelijk verwijzingen naar de renaissancestijl. Het gebouw telt twee bouwlagen met verhoogde begane grond.