Ein erster Wehrbau dürfte an dieser Stelle bereits um die Mitte des 12. Jahrhunderts errichtet worden sein. 1160 stand hier bereits ein Turm, der möglicherweise von Karl von Hohenberg, einem Ministerialen der Wildoner, erbaut worden war.

Im 13. Jahrhundert gelangte Kalsdorf in den Lehensbesitz der Hager. Der Turm dürfte damals aber bereits nicht mehr vorhanden gewesen sein, denn die Hager saßen bereits auf einem bewehrten Hof. Dieser befand sich 1366 als landesfürstliches Lehen im Besitz des Hans des Hagers und wurde damals Challenstorf genannt. Bald danach kam er an die mit den Hager verwandten Pessnitzer. Ulrich der Pessnitzer verkaufte ihn 1419 an Niklas Herberstorfer. Dieser ließ den Hof in einen bequemeren und repräsentativeren Wohnsitz umbauen.

1548 ließ Franz von Herberstorf den Hof in eine stattliche Wehranlage ausbauen, um der immer drohender werdenden Türkengefahr begegnen zu können. Beim Ungarneinfall von 1605 konnte das gut befestigte Schloss nicht eingenommen werden. 1630 musste Franz Freiherr von Herberstorf als Protestant die Steiermark verlassen. Er verkaufte seinen Besitz an Barbara Constancia Freiin von Khuenburg, die in zweiter Ehe mit einem Grafen Wildenstein verheiratet war. Unter Johann Franz Freiherr von Wildenstein geriet die Herrschaft 1839 in Konkurs. Sie wurde im nächsten Jahr von Johann Michael Zach erworben. Schon 1843 wird als neuer Besitzer Ignaz Oblak genannt, auf den 1866 Josef Ritter von Uhlheim folgte.

Kalsdorf ging dann an Anton Czeika über, dessen Nachkommen das Gut bis in die zweite Hälfte des 20. Jahrhunderts besaßen. 1945 wurden der Ost- und der Südflügel durch Brandlegung weitgehend zerstört. Eine erste Wiederherstellung erfolgte 1947, doch blieb der Ostflügel unbewohnt. Heute macht das Schloss von außen keinen sehr gepflegten Eindruck. An der Instandsetzung wird jedoch gearbeitet. Der Innenhof ist bereits restauriert. Im Schloss wurden mehrere Wohnungen eingerichtet.

Weitere Informationen: Burgen Austria