Stadel und Wagenremise
Lange diente der Heilingschwertturm dem Hof-Büttner Löw als Stadel und später als Wagenremise. Auch wurde er zum Trocknen von Kräutern verwendet, was ihm die Bezeichnung "Kräuterturm" einbrachte.
Das Land-Buch der Herrschaft Plassenberg nennt den Turm "heilingschwert" mit Namen und sagt aus, dass er der Stadt Kulmbach als Gefängnis und Gerichtsturm diente. Der Name "heiling schwerdt sein Weib als sein tochter" findet sich in der Veranlagung zur Reichssteuer von 1495. Es ist aufgrund der Existenz einer Familie dieses Namens wahrscheinlich, dass sich die Bezeichnung auf die im Turm wohnende Wächterfamilie bezog.
1518 kaufte der markgräfliche Hofgerichtsschreiber Hans Zwickstein ein Burggut. In der Lagebeschreibung kommt Folgendes zum Ausdruck: "Alles an der Stadtmauer gelegen und am Turm, der Heiling Schwert genannt ist, da weiland (früher) ein Türlein nach Mangersreuth hinausgegangen ist."
Wallfahrtsweg gen Mangersreuth
Das Pförtlein befand sich östlich des Heilingschwertturm, ungefähr in der Verlängerung des Unteren Stadtgässchens. Von hier führte ein Wallfahrtsweg nach Mangersreuth. Zwischen 1515 und 1518 wurde dieser Ausgang gesperrt, da sich hernach ein weiteres Mangersreuther Türlein beim Oberen Tor gegenüber der markgräflichen Kanzlei - heute Obere Stadt 33 - befand. Seither führte der Wallfahrtsweg über die Trendelstraße nach Mangersreuth, erst im Bereich der drei Stein e kam man wieder auf den alten Weg.
Vielleicht hängt die Verlegung des Türleins am Heilingschwertturm mit dem damaligen Ausbau der äußeren südlichen Stadtmauer zusammen. Es ist weiterhin möglich, dass eben dieses Gelände am Stadtgraben zur Kalten Marter hin nicht so steil anstieg wie heute. Zur Begründung muss erwähnt werden, dass das Burggut des Sebastian von Waldenfels neben dem Stadtturm mit Tullen und Gärten geschützt war.
Weber und Brauer
Noch in den 1950er Jahren gab es im Umfeld des Turmes nach Nordwesten hin, eingezwängt zwischen Stadtmauer und Straßenmauer, die Howeg'sche Weberei und im Bereich des Kindergartens und Gemeindezentrums der Stadtpfarrkirche "Zu unserer Lieben Frau" die Kapuzinerbrauerei mit einem hohen Schornstein. Im Turm selbst und in den angrenzenden Gebäuden konzentrierte sich das städtische Kulturreferat zeitweise mit Stadtarchiv, Stadtbücherei und Volkshochschule.
Erfreulich ist, dass die Stadt Kulmbach dort zurzeit umfassend saniert, so dass für kommende Generationen ein lohnendes Objekt der Kulmbacher Geschichte erhalten bleibt.