Die Burg scheint erst gegen Ende des 13. Jahrhunderts urkundlich auf, doch ist bereits 1135 der Name "Chalmunze" bezeugt. Einziges bekanntes Mitglied dieses Geschlechtes ist Hermann Cholmunzer, der 1197 genannt wird. 1293 waren die Herren von Wallsee Inhaber des landesfürstlichen Lehens. 1346 war die Burg im Besitz des Weichard von Winkel. Seit 1362 befand sich hier auch das Landgericht. Kollmitz gehörte damals Ratold den Chrättzer, der es kurz zuvor gekauft hatte. Um 1371 gelangte es an Johann und Friedrich von Tyrna, die das Lehen aber etwas später dem Landesfürsten zurückgaben. Dieser setzte daraufhin Jörg Volkenstorffer als Pfleger ein. 1398 erwarben die Freiherren von Hofkirchen die Herrschaft.

Dieser lies die Burg, die durch das Aufkommen der Feuerwaffen bereits ihre Verteidigungskraft verloren hatte, modernisieren und ausbauen. Um die Distanz zwischen feindlichen Geschützen und der Hauptburg zu vergrößern, wurde die große Vorburg mit dem oberen Geschützturm angelegt. Als vorgeschobene Verteidigungslinie wurde um das Jahr 1450 die sogenannte Böhmische Mauer errichtet. Die Familie Hofkirchen baute im 16. Jahrhundert das nur wenige Kilometer entfernte Drösiedl zu ihrem Wohnsitz um, wodurch Kollmitz an Bedeutung verlor. Die Hofkirchen besaßen die Burg bis 1620, als sie wegen Rebellion gegen den Kaiser ihre Güter verloren. Damals wurde die Burg von kaiserlichen Truppen besetzt.

In der Folge gelangte Kollmitz an Georg Schüller und 1637 an Johann Schubhardt, dem es gelang 1642 die Herrschaft als freies Eigen zu erwerben. Zwischen 1693 und 1705 gehörte die Burg dem Kloster Pernegg. Nach einem Brand um 1703, der vor allem den Torturm und den Rundturm im Norden der Vorburg betraf, wurde in der Burg nichts mehr investiert. 1708 ging Kollmitz an Franz Anton Edler von Quarient über. Die Herrschaftsverwaltung wurde nach Raabs verlegt und Kollmitz nicht mehr bewohnt und gepflegt. Als 1760 Johann Christoph Freiherr von Bartenstein die Herrschaft übernahm wurde die Burg als willkommener Steinbruch benutzt und alles Brauchbare weggebracht. Um der Dachsteuer zu entgehen wurden nach 1800 die noch vorhandenen Dächer abgetragen und die Decken eingeschlagen. Zu den folgenden Besitzern zählten Franz Freiherr von Kaiserstein (1829), Wilhelm von Lindheim (1878) und Reichsgraf Philipp Boos von Waldeck (1888).

Mit Raabs kam Kollmitz 1912 an den Freiherrn Hugo Klinger von Klingerstorff. Als die Stadt Waidhofen an der Thaya 1932 die alte Kollmitzer Herrschaftsmühle aus der Raabser Konkursmasse kaufte und zu einem Elektrizitätswerk ausbaute, bekam sie auch die Ruine dazu. In den 80er Jahren des 20. Jahrhunderts erwarb der Holzindustrielle Schweighofer das Waldgebiet um die Ruine, verkaufte es aber nach dessen Nutzung an das Stift Geras. 1994 wurde die Ruine Eigentum der Stadtgemeinde Raabs. Seit 1974 bemüht sich ein Burgverein um ihre Sicherung und Erhaltung.

Weitere Informationen: Burgen Austria / Ebidat / NÖ-Burgen online