Kahlsperg war ursprünglich wohl eine Wasserburg. Der Name "Kahlsperg" leitet sich von dem steirischen Geschlecht der "Chalasperger" ab, die von 1250 bis ins 15. Jahrhundert in salzburgischen Urkunden aufscheinen.
Kahlsperg stand im engen Zusammenhang mit der Burg Moosham. Ortlof von Chalochsperge überwarf sich mit Erzbischof Friedrich von Walchen und wurde von diesem auf seiner Burg Moosham belagert. 1281 musste er kapitulieren und wurde des Landes verwiesen. Ortolfs Sohn Wulfing nennt sich der Goldegger, was darauf schließen lässt, dass die Kahlsperger mit den Herren von Goldegg verwandt oder identisch waren. Im 14. Jahrhundert waren die Kahlsperger in Oberalm ansässig. Im 15. Jahrhundert tauchen die Kahlsperger als erzbischöfliche Beamte auf.
Sie waren vermutlich nur mehr die Burghüter auf Kahlsperg. Ab der Mitte des 15. Jahrhunderts gehörte Kahlsperg den Nußdorfern. Diese ließen den Sitz in seine heutige Gestalt umbauen. 1532 verkaufte David von Nußdorf den Ansitz an Leonhard Harder. Dessen Erben verkauften Kahlsperg 1570 an Hans Panicher von Wolkensdorf. Diesem folgten 1604 Viktor Christallnigg und 1612 Wolf Sigmund von Haunsperg. Franz Rudolf von Haunsperg verkaufte den Besitz 1637 an Katharina von Lodron. 1638 wurde Kahlsperg in den Lodronschen Primogenitur Fideikommiss einverleibt. 1812 wurde Kahlsperg aus dem Fideikommiss ausgeschieden und an Johann B. Maffei verkauft. 1831 kam Johanna Karl, geborene von Maffei in den Besitz. Diese verkaufte ihn 1836 an Ernst Graf Coreth.
Weitere Besitzer waren Anton Gimpl und Katharina Pertinger (1846), Kajetan und Elise Mayr von Mayregg (1852), Kajetan Schneeberger (1860), Anton von Walterskirchen (1861), Moritz, Flora und Johanna von Walterskirchen (1872), Adolf Wolff (1873), Maurice Graf Ressequier de Miremont (1874), Natalie Schimpf (1878), Otto Wilhelm Freiherr von Walterskirchen und seine Frau Karoline (1893), Josef Wilhelm Graf Walterskirchen und Freiherr von Wolfsthal (1913). Josef Wilhelm und Ladislaja von Walterskirchen übergaben den gesamten Besitz 1952 gegen Leibrente an die Halleiner Schwestern Franziskanerinnen, die dort ein Altersheim einrichteten.
Weitere Informationen: Wikipedia