Polster gehörte als Mitglieder der Freien Wähler seit 1996 dem Gemeinderat Gößweinstein an. 2015 übernahm der Busunternehmer das Amt des Beauftragten für Asyl-, Flüchtlings- und Ausländerfragen. Seit 2014 gehörte er auch dem Kreistag Forchheim an. Hier engagierte er sich besonders für die Weiterentwicklung des öffentlichen Personennahverkehrs (ÖPNV). Ferner war er Gründungs- und Vorstandsmitglied des Fördervereins Höhenschwimmbad Gößweinstein