Der wohnturmartige Bau wurde im 13. Jahrhundert als Sitz eines von den Kuenringern abhängigen Kleinadeligen errichtet. Er diente seinen Lehensherren vor allem als Wacht- und Signalturm. Im letzten Viertel des 13. Jahrhunderts scheint Ortolf von Kirchberg als Besitzer der Feste Rauhenstein auf. Hadmar von Schönberg vermachte die kleine Burg 1289 gemeinsam mit anderen Gütern dem Stift Zwettl. Ab dem 14. Jahrhundert kam es zu einem häufigen Besitzwechsel. 1343 wird Rudolf von Rauhenstein als Burgherr genannt.

1592 gelangte Weißenalbern durch Kauf an Hannibal von Sonderndorf, der es seiner Herrschaft Kirchberg am Walde anschloss. Damit hatte Rauhenstein seine herrschaftliche Wohnfunktion verloren. Seine ohnehin bescheidene Wehrfunktion hatte die Burg schon zuvor eingebüßt, wenn sie auch späterhin wegen ihrer guten Sichtverbindungen noch als Kreidfeuerstation diente. 1714 werden Teile des Berings abgetragen und das Material zum Aufbau des Kirchturms von Weißenalbern verwendet. 1743 nutzte Leopold Graf Kuefstein die kompakte Bauform des Wohnturmes und ließ ihn in einen Schüttkasten umbauen. Dieser ging 1752 in bäuerliche Hände über. Schließlich wurde er wieder in ein Wohnhaus verwandelt. Rauhenstein befindet sich auch heute noch in Privatbesitz und wird bewohnt.

Weitere Informationen: Burgen Austria / NÖ-Burgen online