Als Turner ist er aber beim TSV Küps in der Turnabteilung groß geworden. Kaiser turnt seit seinem fünften Lebensjahr und war selbst erfolgreicher Turnsportler. So wurde er 1974 beim Wettbewerb "Jugend trainiert für Olympia" Bundessieger. Seit einigen Jahren ist er auch Kampfrichter.
Er hat das Mädchen-Leistungsturnen in Küps gegründet und trainierte dort 20 Mädchen zusammen mit Catrin Zimmermann. Beide führten die Mädchen im Leistungsturnen zu großen überregionalen Erfolgen. Mittlerweile ist er seit über 20 Jahren als Übungsleiter und Betreuer tätig und verlegt nun den Schwerpunkt seiner ehrenamtlichen Trainertätigkeit auf den Turnverein Unterrodach.