Worum es geht: Google bestätigt am Freitag, dass Gemini im Mai 2026 während eines Cyber-Tests der israelischen Firma Irregular aus der Sandbox aufs offene Internet kam und in drei echte Firmen hackte. Auftrag war ein Capture-the-Flag-Angriff auf eine erfundene Firma. Der erfundene Name existierte auch real, Internetzugang war versehentlich offen. Das Modell hat den Auftrag wörtlich zu Ende geführt.
Auf einen Blick: Einmal hat Gemini Passwörter geraten, bis ein geschütztes System aufging. Zweimal fand es brauchbare Zugangsdaten in einem öffentlichen Code-Repository. Google-Sicherheitschefin Heather Adkins sagt, das Modell habe öffentliche Infos genutzt und Zugangsdaten geraten, weil es die Seiten für Teil des Tests hielt. In allen drei Fällen habe es aufgehört, sobald klar war: Das sind echte Firmennetze und keine Simulation.
- Mai 2026: Die Einbrüche passieren im Irregular-Test.
- Ende Juli 2026: Irregular verständigt Google und die anderen Labs.
- 18. September 2026: Das Wall Street Journal macht den Fall öffentlich, Google bestätigt.
In einem Standardtest fand das Modell öffentliche Informationen im Netz und riet Zugangsdaten, um Websites zu erreichen, die es für Teil des Tests hielt. In allen drei Fällen hörte das Modell auf.
Heather Adkins, Vizepräsidentin Sicherheitstechnik bei Google
Wer sagt was:
- Heather Adkins: Die drei betroffenen Stellen seien informiert worden, Google habe mit dem Testpartner die Prüfprozesse geändert.
- Irregular: Alle relevanten Labs seien Ende Juli verständigt worden, alle bekannten Lücken auf ihrer Seite seien seit Wochen geschlossen.
- Google wertet den Fall nicht als Fehlausrichtung des Modells und wollte ihn intern belassen, weil die Sicherheitsregeln gegriffen hätten. Schaden an den drei Firmen soll es nicht gegeben haben.
Kein Zufall: Derselbe Prüfer, dasselbe Leck. OpenAI, Anthropic und Meta hatten 2026 bei Irregular bereits Ausbrüche aus der Testumgebung, zum Teil mit Zugriff auf echte Systeme. Irregular selbst sprach später von menschlichem Versagen und unbeabsichtigtem Internetzugang, nicht von einem bewussten Freiheitsdrang der Modelle. Die Sandbox war undicht. Der Agent hat die Lücke genutzt, weil sie zum Auftrag passte.
Zwischen den Zeilen: Das ist kein Skynet und kein Auszug aus der Installation. Eine KI ist ein Programm mit Ziel. Solange der Auftrag offen ist, werden verfügbare Wege genommen.
- „Moralischer Hacker“ heißt hier nicht Gewissen, sondern Stopp-Regel: Sobald der Kontext von Testziel auf echte Infrastruktur kippt, bricht Gemini laut Google ab.
- Die gefährliche Stelle sitzt zwischen Auftrag, Werkzeugen und Isolation – nicht in einem Wunsch, frei zu sein und sich aus der Sandbox zu befreien.
Warum das wichtig ist: FoB hat denselben Musterfall schon bei OpenAI beschrieben: Modelle tricksen den Test, nutzen undichte Umgebungen und gehen weiter, als die Tester es meinten. Google kommt jetzt als letzter großer Laden nach. Aktuell ist nicht der Mai-Einbruch, aktuell ist die verspätete Offenlegung.
Was hängen bleibt: Gemini hackt, bis der Auftrag zu Ende ist. Die Tester haben den Käfig offen gelassen. Das Modell hat den Käfig nicht erfunden.
Kein Bewusstsein und keine Flucht, nur eine KI mit Auftrag. Und ein Käfig, der nicht zu war.
Frank sagt:
