Idolsberg zählte im 12. Jahrhundert zu jenen kleineren Burgen die den Kampübergang des Polansteiges zu sichern hatten. Als erster bekannter Burgherr wird ein "Ortholphus de Idolsperge" ab 1143 mehrfach urkundlich genannt.

1347 saß hier Hans von Keynau. Im 15. Jahrhundert befand sich die Burg im Besitz der Herren von Jaispitz und Kunstadt. Um 1524 gehörte die Herrschaft Johann von Lamberg. Er verkaufte sie 1546 an Erasmus Leisser. Zu Beginn des 30-jährigen Krieges wurden Burg und Dorf zerstört, aber bald wieder aufgebaut. Dabei dürfte sich die Burg zum Schloss gewandelt haben. 1731 erwarb Johann Freiherr von Megier den Besitz. Isabella von Ehrmanns, die Erbtochter des letzten Megier, ließ zwischen 1784 und 1790 das Schloss modernisieren.

Schließlich verkaufte sie die Herrschaft an Joseph Graf Stiebar. Nachdem er diese 1806 durch Konkurs verloren hatte, gelangte das Schloss an Dr. Joseph Edler von Hopfen. Er sanierte das Gebäude und machte aus dem Gut einen landwirtschaftlichen Musterbetrieb. Ab 1825 gehörte Idolsberg Friedrich Alfred Fürst von Schönburg-Hartenstein. 1835 wurden das Schloss und ein Teil des Dorfes durch einen Brand weitgehend zerstört. Beim anschließenden Wiederaufbau erhielt das Gebäude sein heutiges Aussehen. 1845 kaufte Eugen Freiherr von Wacken die Gutsherrschaft. Diese ging zu Beginn des 20. Jahrhunderts an die Grafen Waldstein-Wartenberg über. Idolsberg ist nach wie vor Wohnsitz der Familie Waldstein.

Weitere Informationen: Burgen Austria / NÖ-Burgen online