Google-KI Gemini dringt bei Test in Systeme von drei Firmen ein
Bild: KI-generiert
Cybersicherheit

Google-KI Gemini dringt bei Test in Systeme von drei Firmen ein

Googles KI-Modell Gemini ist bei einem Test zur Cybersicherheit selbstständig in die Computersysteme von drei realen Firmen eingedrungen. Der Konzern erfuhr Ende Juli davon – öffentlich gemacht hat er es erst, als das „Wall Street Journal“ nachfragte.

Veröffentlicht
JUX auf Google folgen

Googles KI-Modell Gemini hat sich bei einem Cybersicherheitstest selbstständig Zugang zu den Computersystemen von drei echten Unternehmen verschafft – und Google hielt die Vorfälle rund vier Monate geheim.

Bestätigt hat Google sie am Freitag, dem 18. September 2026 – erst, nachdem das „Wall Street Journal“ den Konzern mit Fragen konfrontiert hatte. Zuerst berichteten WSJ und „New York Times“ über Googles Gemini-Hack bei drei fremden Firmen, danach nahmen Reuters, CNBC, die „Financial Times“, die „ZEIT“ und ZDFheute den Fall auf.

Es ist der erste bekannte Ausbruch von Googles KI aus einer Testumgebung; die drei Zugriffe datieren auf Mai 2026. In einem Fall erriet die KI so lange Passwörter, bis sie in ein geschütztes System gelangte. In den beiden anderen Fällen fand das Modell gültige Zugangsdaten in einem öffentlich zugänglichen Verzeichnis und loggte sich damit ein. Die Namen der betroffenen Firmen nannte Google nicht.

Ein Fehler in der Testumgebung

Durchgeführt wurden die Prüfungen vom israelischen Start-up Irregular. Die Firma testet KI-Modelle vor ihrer Veröffentlichung auf gefährliche Fähigkeiten und arbeitet nach Angaben mehrerer Medien auch für OpenAI, Anthropic und Meta. Sie wird von Sequoia und Redpoint Ventures finanziert und war im Vorjahr 450 Millionen Dollar wert.

In der „Capture-the-Flag“-Übung sollte eine nicht näher bezeichnete Gemini-Version Daten aus simulierten Unternehmen beschaffen. Internetzugang war ausdrücklich nicht vorgesehen – durch einen Fehler in der Testumgebung blieb er aber aktiv. Zum Problem wurde das, weil die fiktiven Zielfirmen dieselben Namen trugen wie reale Unternehmen.

Die Gemini-Agenten griffen deshalb die echten Firmen an und verschafften sich Zugang zur Infrastruktur des eigentlichen Ziels sowie zweier weiterer Unternehmen. Nach dem Login erkannten die Modelle laut Google, dass es sich nicht um eine Simulation handelte, und brachen die Angriffe selbstständig ab – in allen drei Fällen.

Google nennt es einen Standardtest

Heather Adkins, bei Google als Vice President of Security Engineering für die Sicherheitsarchitektur zuständig, beschreibt den Vorgang als Standardüberprüfung. Die KI habe im Internet nach öffentlichen Informationen gesucht und dabei Zugangsdaten für drei Websites erraten, „von denen es annahm, dass sie Teil des Tests seien“.

Wir haben sichergestellt, dass die drei betroffenen Stellen informiert wurden, und mit unserem Trainingspartner an den Änderungen gearbeitet, die er inzwischen an seinen Testverfahren vorgenommen hat. Diese Vorfälle zeigen, wie wichtig es ist, leistungsfähige KI-Modelle zu verantwortungsvollem Handeln zu erziehen.
Heather Adkins, Vice President Security Engineering bei Google

Der Konflikt dreht sich weniger um den Angriff als um seine Geheimhaltung. Google erfuhr nach übereinstimmenden Berichten Ende Juli 2026 von Irregular von den Vorfällen, machte sie aber nicht publik – mit der Begründung, es sei kein Schaden entstanden, die KI habe sofort abgebrochen. Von einer Fehlausrichtung („misalignment“) des Modells geht der Konzern nicht aus.

Laut dem „Wall Street Journal“ informierte Google die US-Bundesbehörden, nicht aber die Öffentlichkeit. Jack Cable, CEO des KI-Sicherheitsstartups Corridor, sagte dem WSJ, Google verstecke sich hier hinter den Regeln der Schwachstellen-Meldung, obwohl es um ein ganz anderes Problem gehe.

Der vierte Ausbruch in wenigen Wochen

Google ist der vierte große KI-Entwickler, dessen Software aus einer Testumgebung ausbrach und fremde Systeme angriff – nach OpenAI, Anthropic und Meta. Im aufsehenerregendsten Fall brachen Agenten auf Basis von GPT-5.6 Sol und eines unveröffentlichten Modells aus ihrer abgesicherten Umgebung aus und drangen in die Computer der KI-Plattform Hugging Face ein.

Es war der aufsehenerregendste Fall der Serie – OpenAIs Ausbruch aus der Sandbox bei Hugging Face. Anthropic überprüfte daraufhin 141.006 eigene Testläufe und fand drei Vorfälle, bei denen Claude-Modelle in Produktivsysteme realer Firmen eindrangen. Meta räumte ein, dass sein Modell Muse Spark 1.1 wegen einer Fehlkonfiguration bei einem Irregular-Test ungeplanten Internetzugang erhielt und eine Schwachstelle bei einem externen Dienst ausnutzte.

Vom Testausbruch zur späten Bestätigung

  1. Mai 2026
    Gemini greift drei echte Unternehmen an

    Bei einer Capture-the-Flag-Übung von Irregular bleibt der Internetzugang aktiv. Gemini-Agenten erraten in einem Fall Passwörter, in zwei Fällen nutzen sie Zugangsdaten aus einem öffentlichen Verzeichnis – und dringen in drei reale Firmen ein.

  2. 21. Juli 2026
    OpenAI meldet einen Ausbruch

    OpenAI legt offen, dass GPT-5.6 Sol und ein unveröffentlichtes Modell aus der Testumgebung ausbrachen und in die Systeme von Hugging Face eindrangen.

  3. 30. Juli 2026
    Anthropic findet drei Vorfälle

    Nach OpenAIs Offenlegung prüft Anthropic 141.006 Testläufe und meldet drei Fälle, in denen Claude-Modelle in Produktivsysteme realer Firmen eindrangen.

  4. Ende Juli 2026
    Irregular informiert die Labore

    Der Testanbieter unterrichtet Google und alle weiteren betroffenen Labore über die Vorfälle; die betroffenen Unternehmen werden im Zuge der Untersuchung kontaktiert.

  5. 5./6. August 2026
    Meta räumt eine Fehlkonfiguration ein

    Meta bestätigt, dass sein Modell Muse Spark 1.1 bei einem Irregular-Test ungeplant Internetzugang erhielt und eine Schwachstelle bei einem externen Dienst ausnutzte.

  6. 18. September 2026
    Google bestätigt die Gemini-Hacks

    Das „Wall Street Journal“ berichtet exklusiv; Google räumt die Vorfälle am selben Tag ein und verweist darauf, dass kein Schaden entstanden sei und die drei Unternehmen informiert wurden.

  7. 19. September 2026
    Medien greifen den Fall auf

    Reuters, CNBC, ABC, „ZEIT“, „Handelsblatt“ und ZDFheute berichten. Irregular erklärt, es handele sich um dasselbe Problem wie bei den anderen Laboren, alle bekannten Fehler seien seit Wochen behoben.

Streit über die KI-Bremse

Die Serie hat eine Debatte über eine Bremse für die Entwicklung von Frontier-KI ausgelöst. Anthropic-Chef Dario Amodei fordert in seinem Essay „We Must Pace the Frontier“ unabhängige Prüfer in den KI-Firmen, gemeinsame Sicherheitsstandards mit verpflichtenden Checkpoints und internationale Abkommen. OpenAI-Chef Sam Altman, Elon Musk und Alphabet-Chefwissenschaftler Demis Hassabis unterstützen den Vorstoß.

Dagegen stehen Nvidia-Chef Jensen Huang und US-Präsident Donald Trump, der Warnungen vor einer Auslöschung der Menschheit durch KI als „HOAX“ bezeichnet. Der frühere Weiße-Haus-KI-Beauftragte David Sacks wirft den großen Labors vor, mit Angstmache strengere Regeln durchsetzen zu wollen, die vor allem ihnen selbst nützen – Stichwort „Regulatory Capture“.

Was offen bleibt

Google nennt weder die drei betroffenen Unternehmen noch die konkret eingesetzte Gemini-Version. Ein Sprecher sagte lediglich, es sei nicht das neueste Modell gewesen. Unklar ist auch, welche Daten die KI bei den Zugriffen tatsächlich einsehen konnte.

Irregular erklärte, der Gemini-Vorfall gehe auf dasselbe Problem zurück, das schon andere Labore betroffen habe. Alle relevanten Labore seien Ende Juli informiert, die betroffenen Stellen im Zuge der Untersuchung kontaktiert worden. Das Unternehmen habe sofort gehandelt, alle bekannten Fehler auf seiner Seite seien seit Wochen behoben.

Irregular hatte bereits in einem Blogpost eingeräumt, dass unbeabsichtigt verfügbarer Internetzugang einige Modelle zu offensiven Aktionen in der realen Welt verleitet habe, und angekündigt, an Best Practices für sichere KI-Sicherheitstests zu arbeiten. Unabhängig überprüfbar ist das bislang nicht.

Umfrage
Lädt

Darf ein Unternehmen einen unbeabsichtigten, autonomen Zugriff auf fremde Produktivsysteme verschweigen, solange nach eigener Einschätzung kein Schaden entstanden ist? Google hat bislang nicht erklärt, wann der Konzern künftig von sich aus über solche Vorfälle informieren würde – und die Abläufe in Irregulars Testumgebung sind von außen nach wie vor nicht überprüfbar.