Ladendorf tritt erstmals 1170 mit Hugo von Ladendorf in Erscheinung. 1228 befand sich die damalige Burg im Besitz von Otto von Ladendorf. Als letzter seiner Familie wird Wolfgang von Ladendorf 1454 erwähnt.

Von 1550 bis 1658 gehörte die Herrschaft der Familie Steger. 1450 wurde die Burg vom böhmischen Söldnerführer Pongracz von Liptau verwüstet und 1645 von den Schweden verheert. Danach wurde der aus dem 16. Jahrhundert stammende Kernbau durch die Familie Steger zu einer Vierkantanlage umgestaltet. 1658 erwarb Wilhelm Johann Anton Graf Daun die Herrschaft. Wirich Philipp Lorenz Graf Daun ließ nach 1722 den alten Wehrbau in ein prunkvolles Schloss umbauen. 1751 wurde Johann Josef Fürst Khevenhüller-Metsch Herr auf Ladendorf.

1805 und 1809 wurde das Schloss von den vorrückenden Franzosen beschädigt. Karl Fürst Khevenhüller-Metsch war um die Wende zum 20. Jahrhunderts der letzte regelmäßige Bewohner des Schlosses. Seine Erben bevorzugen andere Güter der Familie. 1928 kam Ladendorf an die Familie Huck. 1940 war das Gebäude noch in einem vorbildlichen Zustand. Danach ging es rasch bergab. Die Besitzer lebten bis 1957 im Ausland. In der Zwischenzeit wurde das prachtvolle Schloss zur Ruine. Zuerst wurden deutsche Rückwanderer hier untergebracht, dann diente es den Russen als Lazarett und schließlich wurden neuerlich Flüchtlinge einquartiert. Der baufällige Zustand hat sich bis heute nicht verändert. Lediglich das Dach konnte in den 70er-Jahren des 20. Jahrhunderts auf Kosten des Bundesdenkmalamtes ausgebessert werden. Heute ist das Schloss im Besitz von DI. Max Eduard Huck, ein Nachkomme der Fürsten Khevenhüller-Metsch.

Weitere Informationen: Burgen Austria / NÖ-Burgen online