Ein Kastner war damals der oberste Beamte des Kastenamts, der die Einnahmen und Ausgaben seines Amtsbezirks zu verwalten hatte. Der Name leitet sich vom Getreidekasten her, in dem die Naturallieferungen aufbewahrt wurden.

Ein sogenanntes Lehenprotokoll vom 31. August 1677 erwähnt die Stadtmauer noch als hintere Grundstücksgrenze des Gasthauses "Zu den sieben Türmen" - so hieß das Haus in der Bamberger Straße allerdings erst seit Beginn des 17. Jahrhunderts. Unter diesem Namen war es dann aber tatsächlich bis um 1980 bekannt. Insgesamt existierte das Gasthaus - bei hoher Fluktuation der Wirte - über 500 Jahre lang.

Ein weiteres Gasthaus wurde 1516 zum ersten Mal unter dem Namen "Zur Gans" urkundlich erwähnt. Der Abbruch des Hauses Nr. 3 in der Hauptstraße bildete das Ende des Betriebs.