Die Burg wurde Anfang des 13. Jahrhunderts erbaut. Als erster Besitzer ist ein "Ulrich von Vasoldsperge" 1252 urkundlich genannt, der zum Gefolge des Babenbergerherzogs Leopold VI gehörte.

Danach war die Anlage bis 1428 im Besitz der Bischöfe von Seckau. 1467, während der Unruhen um Andreas Baumkircher, war Vasoldsberg von aufständischen Truppen besetzt. Der Seckauer Bischof wurde von Kaiser Friedrich III gezwungen, auf die Lehensrechte über Schloss Vasoldsberg zu verzichten. Das Schloss ging als freies Eigen in den Besitz der Habsburger über. Unter dem Verweser Kolomann Prunner kam es Mitte des 16. Jahrhunderts zur Erneuerung des Schlosses durch einen Umbau ab 1542.

1592 musste das Schloss wegen hoher Steuerschulden verpfändet werden. Im 17. Jahrhundert scheint Vasoldsberg wegen seiner Höhenlage als Kreidfeuerstation auf. Ab dem 17. Jahrhundert folgten mehrmalige Besitzerwechsel. Im 19. Jahrhundert wurde Schloss Vasoldsberg bürgerliches Eigentum. Zwischen 1911 und 1914 wurden große Umbauten durchgeführt. Ab 1942 war Schloss Vasoldsberg Eigentum der Steyr-Daimler-Puch AG, die ein Erholungsheim für Arbeiter und Angestellte sowie eine Musterlandwirtschaft einrichteten. Seit 1987 ist es Privatbesitz der Familie Coutinho.

Weitere Informationen: Burgen Austria