Ursprünglich stand hier auf dem Felsen über der Aist eine kleine, viereckige Wasserburg. Als Gründer der Burg werden die Kuenringer vermutet. 1287 wird sie erstmals urkundlich erwähnt.

Als frühester bekannter Besitzer ist Leutold II von Kuenring überliefert, der 1355 starb. Lehensnehmer waren die Öder, die hier bis 1470 saßen und dann Schwertberg an die Hauser vererbten. Hans der Hauser verkaufte 1506 die Herrschaft an Christof Zeller zu Riedau, der 1521 am Linzer Hauptplatz mit dem Schwert hingerichtet wurde. Seine Burg erbte sein Vetter Georg von Wolframsdorf. 1575 verkaufte Wolfgang von Tannberg, der seinerseits die Herrschaft geerbt hatte, an Hans von Tschernembl.

Dessen Sohn Georg Erasmus setzte die bereits von seinem Vater begonnenen Ausbauarbeiten am Schloss fort. Er ließ ihm bis 1608 seine heutige Gestalt geben. 1620 musste er nach der Schlacht am Weißen Berg fliehen und starb sechs Jahre später im Genfer Exil. Schwertberg wurde ihm enteignet und an den Statthalter Graf Leonhard Helfrich von Meggau verkauft. Unter seiner Herrschaft nahmen aufständische Bauern 1626 das Schloss ein und besetzten es kurzzeitig. Nach seinem Tod wechselten sich die Starhemberg und die Kuefstein im Besitz von Schwertberg ab. 1748 erbten es die Grafen Thürheim, die es bis 1899 besaßen. 1911 erwarb Alexander Graf Hoyos von Baron Ludwig August von Switter das Schloss, dem es zuvor 12 Jahre gehört hatte.

Schwertberg zählt zu den wenigen Schlössern des Mühl- und Waldviertels, die den Zweiten Weltkrieg und die Besatzungszeit gut überstanden haben. Die Russen ließen im Chinesischen Salon sogar Renovierungen durchführen. Das Schloss befindet sich heute noch im Besitz der Familie Hoyos und wird auch von ihr bewohnt.

Weitere Informationen: Burgen Austria / Ebidat