Die erste Nennung erfolgte im Jahr 1136 in der Stiftungsurkunde für das Kloster Klein-Mariazell durch Marktgraf Leopold III. Aus diesem Schriftstück geht hervor, dass die Brüder Heinrich und Rapoto aus dem Geschlecht der Haderiche ihre Burg Schwarzenburg sowie Besitzungen der Klostergründung widmeten. Nach dem Aussterben der Schwarzenburger nannten sich die neuen Herrn nach Nöstach, so Rudger (1260), Christian (1323) und Hans (1393). Das Stift hatte keinen leichten Stand gegen diese neuen Herrn und mussten wiederholt ihre Rechte geltend machen.

Die Burg stand auf der Höhe des Pankraziberges, wo sich heute die Reste der Wehrkirche erheben. Es wäre immerhin möglich, das der alte Burgbering beibehalten worden war, als man den Kirchenbau begann. Jedenfalls hatte die Kirche die Wehrfunktion der Burg übernommen. Die Errichtung der Burg kann im 1. Viertel des 12. Jahrhunderts angenommen werden. Im 13. Jahrhundert dürfte die Burg zur Wehrkirche St. Pankraz umgewandelt worden sein. St. Pankraz war viele Jahre ein Wallfahrtsort. Die Wallfahrten galten damals einer Gnadenstatue des Heiligen Pankrazius. Als im zweiten Viertel des 18. Jahrhunderts die Wallfahrtskirche am Hafnerberg erbaut wurde, wurde sie nicht mehr benötigt und begann zu verfallen. 1784 wurde die Wehrkirche als Folge der "Josephinischen Kirchenreform" profaniert und verödete daraufhin endgültig.

Weitere Informationen: Regiowiki