Niklas der "Eczelstorffer" ist der erste urkundlich gesicherte Inhaber der Herrschaft. Er war landesfürstlicher Pfleger von Tollet und scheint 1367 erstmals auf. Seine Tochter heiratete Kaspar Jörger, wodurch Etzelsdorf an dessen Familie gelangte.

Die Wasserburg befand sich auf der kleinen Insel in jenem Teich, der zwischen dem heutigen Schloss und der Landesstraße liegt. 1551 wurde die Wasserburg durch einen Brand vernichtet. Mit Hans Jakob starb die auf Etzelsdorf sitzende Linie der Jörger um 1558 aus. Nach einem langen Erbstreit fiel der Burgstall 1563 an Erasmus von Gera. Im Jahr 1600 kaufte Josef Krenner das Gut dem Hans Christoph von Gera ab. Er veräußerte es aber bald an die Familie Seeauer. Diese baute den Ansitz wieder auf und veräußerte ihn 1625 an die Familie Schmidtauer auf Oberwallsee.

Im Bauernkrieg von 1626 brannte der Ansitz neuerlich ab. Christoph Hellfried Schmidtauer verzichtete auf einen neuerlichen Wiederaufbau des Inselschlosses. Er ließ die Ruinen abtragen und erbaute in unmittelbarer Nähe das heutige Schloss. Es wurde 1726 ausgebaut und blieb als Fideikommiss bis zu ihrem Aussterben im 19. Jahrhundert im Besitz der Familie Schmidtauer. 1901 kam Etzelsdorf an die Reichsedle Anna von Unkrechtsberg. Nach ihrem Tod gingen Schloss und Gut 1929 in bürgerlichen Besitz über.

Weitere Informationen: Burgen Austria