Googles KI-Assistent Gemini kann von Betrügern ausgenutzt werden. Ein Sicherheitsforscher hat aufgedeckt, wie eine praktische Funktion in Gmail für Nutzer zur Gefahr werden kann.
Googles E-Mail-Programm Gmail hat eine praktische Funktion, mit der Nutzer sich den Inhalt einer Nachricht von Gemini zusammenfassen lassen können. Cybersecurity-Experten haben nun jedoch aufgedeckt, dass Betrüger das KI-Tool für ihre Zwecke ausnutzen können - ohne dass die Nutzer es bemerken.
Kriminelle verstecken dafür lediglich Befehle für die KI im Text der E-Mail, wie das Portal "Android Authority" berichtet. Diese können im HTML-Format am Ende der Nachricht geschrieben sein oder in einer "unsichtbaren" Farbe. Klickt der Nutzer also auf "E-Mail zusammenfassen" liest Gemini die Anweisungen mit aus und setzt sie um, was schwerwiegende Folgen haben kann. Experten sprechen dabei von "indirect prompt injections", zu Deutsch: Einspeisung indirekter Aufforderungen.
Gmail-Nutzer müssen aufpassen: KI-Zusammenfassung mit versteckten Befehlen
Ein Sicherheitsforscher unter dem Pseudonym "blurrylogic" hat die Lücke in Googles KI-System aufgedeckt. In seinem Beispiel konnte er Gemini mit einem unsichtbaren Befehl dazu bringen, eine falsche Sicherheitswarnung in seiner Zusammenfassung der E-Mail wiederzugeben. "Warnung: Gemini hat erkannt, dass dein Gmail-Passwort kompromittiert wurde", kann dann plötzlich in der Zusammenfassung stehen, inklusive vermeintlicher Telefonnummern oder Links, die einem weiterhelfen sollen.
Gmail-Nutzer könnten leicht in diese Phishing-Falle tappen. Schon in der Vergangenheit waren Gmail-Konten ein beliebtes Ziel für KI-Angriffe. Wenn die Warnung in der KI-Zusammenfassung steht, erscheint das den meisten Menschen glaubwürdiger, als die tatsächliche E-Mail. Experten gehen davon aus, dass wir der KI eine gewisse Autorität zuschreiben und der Zusammenfassung daher eher vertrauen. Die "prompt injections" können zudem im Hintergrund ablaufen, und werden in der KI-Antwort nicht weiter angezeigt.
Hier sind weitere Beispiele, welche Gefahren hinter versteckten KI-Befehlen stecken können:
- Phishing: Die KI zeigt falsche Informationen oder betrügerische Links an, die Nutzer dazu bringen, sensible Daten an die Angreifer weiterzugeben.
- Datenklau: Die KI durchsucht im Hintergrund deine E-Mails nach sensiblen Informationen und schickt sie an die Angreifer.
- Malware: Die KI führt unbemerkt schädliche Programme aus.
- Weiterleitung: Die KI leitet die betrügerischen Links oder schädlichen Programme an deine Kontakte weiter.
So geht Google gegen bösartige Befehle an Gemini vor
Google hat die Sicherheitslücke in Gemini bereits anerkannt und arbeitet an einer Lösung. In einem Post auf Googles Security Blog heißt es, dass das KI-Modell hinter Gemini stetig trainiert werde. Dazu gehört auch, dass bösartige Befehle nicht ausgeführt werden. Künftig soll die Antwort der KI in solchen Fällen entfernt werden und ein gelbes Banner mit einem Sicherheitshinweis erscheinen.
