Als erster Burgherr ist uns Conrad de Clement bekannt, der in der zweiten Hälfte des 12. Jahrhunderts lebte. Die Herren von Klement starben in der ersten Hälfte des 15. Jahrhunderts aus, so dass das Lehen vom Landesfürsten eingezogen werden konnte. 1451 wird ein Ritter Konrad Gußer von Klement erwähnt. Seit 1569 nennen sich Familienangehörige der Arberger nach Klement. Zu den im späteren 16. Jahrhundert wechselnden Herrschaftsinhabern zählten Franz Freiherr von Gera (1572) und Wolf Christoph von Enzersdorf (1590). In der zweiten Hälfte des 16. Jahrhunderts baute man den am Fuß des Hausberges liegenden Meierhof zum Schloss aus. Die Burg wurde verlassen und verfiel.

Um 1600 war Johann Heinrich Freiherr von Kienritz Schlossherr. 1607 gehörte Klement dem Freiherrn Jakob Franz von Herberstein. Über Johanna von Hohenfeld und Job Hartmann Freiherr von Welz gelangte die Herrschaft durch Kauf an Rudolf Graf Sinzendorf, der es mit seiner Herrschaft Ernstbrunn vereinigte. Klement blieb bis 1822 im Besitz der Sinzendorfer und ging dann mit Ernstbrunn an Fürst Heinrich IV von Reuß-Köstritz über. Es gehört noch heute der Familie Reuß. Heute erkennt man im dichten Unterholz die Reste des „Öden Schlosses“. Von ihm haben sich in erster Linie Erdwälle und Gräben erhalten, da das aufgehende Mauerwerk um 1900 wegen Baufälligkeit zum größten Teil abgetragen wurde.

Weitere Informationen: Burgen Austria / NÖ-Burgen online