Tonscherbenfunde aus dem 11. Jahrhundert zeugen von der ersten Besiedlung in Wirsberg. Urkundlich erwähnt wurde der Ort zum ersten Mal Ende des 13. Jahrhunderts. Seinen Namen hat Wirsberg von den Herren von „Wirtesperc“. Zunächst lag Wirsberg auf fürstbischöflich - bambergischem Grund, fiel jedoch Mitte des 14. Jahrhunderts an die Burggrafen zu Nürnberg und damit an die Markgrafen von Kulmbach. Von ihnen erhielt Wirsberg die Stadtrechte. Wie andere Orte der Umgebung fiel Wirsberg auf Grund des Friedens von Tilsit 1810 Bayern zu.
An die einstigen Herren von Wirsberg erinnert heute noch die Burgruine Wirsberg, die auf einem Felsen nordwestlich des Zusammenflusses von Koser und Schorgast liegt. Von der Burg, die um 1200 von den Andechs-Meraniern erbaut wurde, stehen nur noch die Mauerreste, denn sie wurde im Dreißigjährigen Krieg, so wie der gesamte Ort zerstört.