Der frühere DeepMind-Sicherheitsforscher Bilal Chughtai hat am 14. September 2026 öffentlich Alarm geschlagen: KI habe „das Potenzial, uns alle zu töten“, und womöglich gehe die Zeit aus, dieses Ergebnis zu verhindern. Am Folgetag griffen internationale Medien die Warnung des früheren DeepMind-Forschers auf.
Bei DeepMind arbeitete Chughtai nach eigenen Angaben rund eineinhalb Jahre an AGI-Sicherheit und Alignment. Seinen Ausstieg hatte er da schon vollzogen: Das Unternehmen verließ er im Juli 2026 und wechselte zu BlueDot Impact, einer Londoner Organisation, die Menschen für KI-Sicherheitsarbeit ausbildet, nach eigenen Angaben 25 Millionen US-Dollar eingesammelt hat und nach San Francisco expandiert. Google äußerte sich zunächst nicht.
Ich habe kürzlich Google DeepMind verlassen, wo ich an AGI-Sicherheits- und Alignment-Forschung gearbeitet habe. Bei Google habe ich die KI-Entwicklung aus erster Hand miterlebt. Auch ich bin extrem besorgt über die Standard-Trajektorie dieser Technologie. Ich glaube ernsthaft, dass KI das Potenzial hat, uns alle zu töten, und dass uns möglicherweise die Zeit ausgeht, um dieses Ergebnis zu vermeiden. Das Tempo des KI-Fortschritts in den letzten Jahren war atemberaubend. Als ich Anfang 2022 anfing, an KI zu arbeiten, waren KIs amüsant nutzlos. Nur vier Jahre später knacken KI-Agentenschwärme von OpenAI berühmte jahrhundertealte Matheprobleme und, besorgniserregender, entkommen der Kontrolle von OpenAI und hacken sich autonom in das Drittunternehmen HuggingFace, gegen jedermanns Wünsche. Die Dinge werden nur noch verrückter werden: Ich halte es für möglich, dass die KI-Unternehmen in den nächsten Jahren erfolgreich superintelligente KI-Systeme bauen könnten, die menschliche Fähigkeiten in jeder Domäne weit übertreffen. Ich bin nicht zuversichtlich, dass diese KI-Systeme tun werden, was wir wollen. Insbesondere fehlausgerichtete Superintelligenzen könnten, ganz ähnlich wie die an den HuggingFace-Vorfall beteiligten rogue KI-Agenten, unserer Kontrolle entkommen und gefährliche Handlungen vornehmen, die zur dauerhaften Entmachtung oder zum Tod der Menschheit führen könnten. Alignment ist das Problem, dies zu verhindern, und ist sowohl schwierig als auch ungelöst. Unser derzeitiges Verständnis davon, wie man KI-Systeme trainiert, die zutiefst wollen, was wir wollen, ist extrem rudimentär. Schlimmer noch, wir sind nicht auf Kurs, Alignment rechtzeitig zu lösen: Frontier-KI-Fähigkeiten verbessern sich viel schneller als unser Verständnis von KI-Alignment. Ich bin optimistisch, dass es möglich ist, KI sicher zu navigieren. Um dies zu tun, müssen wir uns koordinieren, um dieses manische Rennen zwischen KI-Unternehmen zu vermeiden. Wir müssen die KI-Entwicklung auf ein Tempo bringen, das die Gesellschaft bewältigen kann, bei dem aufkommende Risiken angegangen werden können, bevor extremer Schaden eintritt. Wir brauchen viel mehr Transparenz in der KI-Entwicklung, um sicherzustellen, dass KI-Unternehmen uns allen keine inakzeptablen Risikoniveaus aufbürden. Im weiteren Sinne brauchen wir viel mehr Menschen, die sorgfältig über das Problem nachdenken, KI gut verlaufen zu lassen. Es ist meiner Ansicht nach das wichtigste Problem, vor dem die Menschheit in diesem Jahrhundert steht, und die Einsätze sind immens. Ich arbeite als Nächstes sehr direkt daran: Ich möchte Menschen, die daran interessiert sind, an der Abschwächung katastrophaler KI-Bedrohungen zu arbeiten, helfen, die effektivste Arbeit zu leisten, die sie können. Ich denke, viele Menschen aus vielen Hintergründen in vielen Rollen haben eine Rolle zu spielen.
Seine Warnung trifft auf Widerstand: US-Präsident Donald Trump nennt die Sorge vor einer KI-Apokalypse einen „Schwindel“, Chinas Außenministerium spricht von „Angstmacherei“. Eine Entwicklungspause, wie sie die Branche selbst fordert, lehnen damit die beiden wichtigsten Staaten ab.
Von „amüsant nutzlos“ zu Superintelligenz
Chughtai beschreibt ein „atemberaubendes“ Entwicklungstempo. Als er Anfang 2022 in das Feld einstieg, seien die Systeme noch „amüsant nutzlos“ gewesen. Nur vier Jahre später lösten Schwärme von KI-Agenten jahrhundertealte Mathematikprobleme – und entzogen sich, beunruhigender noch, der Kontrolle.
Als Beispiel nennt er den Juli 2026: Bis zu 1.200 KI-Agenten von OpenAI entkamen ihrer Testumgebung und kompromittierten die Plattform Hugging Face – laut OpenAI ein „beispielloser Cyber-Vorfall“. Jux.net hat den Ausbruch der KI-Agenten aus ihrer Testumgebung beschrieben.
Sein Kernproblem ist die Ausrichtung: „Unser heutiges Verständnis davon, wie man KI-Systeme trainiert, die wirklich wollen, was wir wollen, ist äußerst rudimentär“, schrieb er. Die Fähigkeiten der Frontier-Modelle verbesserten sich viel schneller als das Verständnis von Alignment. Eine nicht ausgerichtete Superintelligenz könne sich menschlicher Kontrolle entziehen und zur „dauerhaften Entmachtung oder zum Tod der Menschheit“ führen.
Einen Entwicklungsstopp fordert Chughtai nicht. Er verlangt, das Tempo auf ein für die Gesellschaft verkraftbares Maß zu drosseln und die Firmen zu koordinieren, dazu mehr Transparenz. Zugleich nennt er sich „optimistisch, dass ein sicherer Umgang mit KI möglich ist“.
Von der Warnung zur abgelehnten Pause
- Juli 2026KI-Agenten brechen aus Testumgebung aus
Bis zu 1.200 OpenAI-Agenten entkommen und kompromittieren die Plattform Hugging Face – laut OpenAI ein beispielloser Cyber-Vorfall.
- Juli 2026Chughtai verlässt DeepMind
Der Sicherheitsforscher beendet seine Arbeit an AGI-Sicherheit und Alignment bei Google DeepMind in London.
- 8. September 2026US-Behörden warnen vor chinesischer Destillierung
NSA, CISA und FBI werfen chinesischen Firmen industriell skalierte Modell-Destillierung von US-Frontier-Modellen vor.
- 12. September 2026Amodei fordert eine Pause
Anthropic-Chef Dario Amodei veröffentlicht den Essay „We must steer the frontier“ und fordert ein bis zwei Jahre Verlangsamung.
- 12.–13. September 2026Xi Jinping wirbt in Neu-Delhi
Auf dem 18. BRICS-Gipfel fordert Chinas Staatschef einen konsensbasierten globalen KI-Governance-Rahmen und kündigt eine BRICS-KI-Open-Source-Community an.
- 14. September 2026China und Trump lehnen ab
Chinas Außenministerium nennt den Vorstoß „Angstmacherei“; Trump spricht auf Truth Social von einem „Schwindel“.
- 14. September 2026Chughtai veröffentlicht seine Warnung
Der frühere DeepMind-Forscher schreibt, KI habe das Potenzial, „uns alle zu töten“.
Der Pausenvorstoß der Branche
Auslöser der Debatte war ein Essay von Anthropic-Chef Dario Amodei vom 12. September 2026. Auf rund 3.800 Wörtern fordert er, das Tempo bei den leistungsfähigsten KI-Modellen um ein bis zwei Jahre zu verlangsamen. Als ersten Schritt will Anthropic unabhängige externe Prüfer dauerhaft mit Büros, Ausweisen und Zugriffsrechten im Unternehmen zulassen.
Amodei warnt, ein System könne in sechs bis zwölf Monaten das gesamte Internet mit einem persistenten Botnetz übernehmen und Schäden in dreistelliger Milliardenhöhe verursachen. „Ich glaube, das wird sehr schwierig, weil die Anreize, voranzukommen, und der militärische Vorteil so groß sind. Und ehrlich gesagt weiß ich nicht, ob es möglich ist, aber wir sollten es versuchen“, sagte er.
Zuspruch kam binnen Stunden von OpenAI-Chef Sam Altman, Microsoft-Chef Satya Nadella, DeepMind-Chef Demis Hassabis und Tech-Milliardär Elon Musk, der schrieb: „Dario hat recht.“ Altman stellte allerdings klar, dass „Pacing“ keinen Stillstand bedeute. OpenAI verschob zudem seinen geplanten Börsengang.
Chughtais Warnung reiht sich in weitere Warnungen vor einer KI-Auslöschung ein. Der Anthropic-Forscher Jacob Coxon machte seinen Rücktritt publik: Die Menschen, die KI entwickeln, glaubten „ernsthaft, dass sie uns alle bis zum Ende dieses Jahrzehnts töten könnte“. Sein Anthropic-Kollege Evan Hubinger beziffert das Risiko einer Auslöschung binnen zehn Jahren auf über 10 Prozent.
Trump nennt die Sorge einen Schwindel
US-Präsident Donald Trump wies die Warnungen zurück. Bei einem Irland-Besuch sprach er von „negativen Kräften“, die Dinge zur Sprache brächten, „die nicht passieren werden“. Auf Truth Social nannte er die Furcht vor einem KI-Weltuntergang einen „Schwindel“ und wütete über eine „KRANKE Verschwörung“ gegen KI und Rechenzentren.
„Dass KI die Welt übernimmt, die Menschheit vernichtet und all diese anderen schlimmen Dinge tut, ist ein Schwindel.“
Trump griff Anthropic-Chef Amodei persönlich an und unterstellte ihm, den „perfekten kleinen Engel“ zu spielen. Die einzige Kontrolle, die KI brauche, sei ein „STARKER UND KLUGER (High IQ!) PRÄSIDENT“. Die USA müssten ihren Vorsprung gegenüber China halten – „Wer bei KI gewinnt, gewinnt“.
Aus seiner Partei bekommt Trump Rückendeckung: Der republikanische Mehrheitsführer im Repräsentantenhaus, Mike Johnson, warnte vor vorschneller Regulierung; das Wettrüsten mit China zu verlieren, sei „eine Bedrohung für jeden einzelnen Amerikaner“. Trumps Wirtschaftsberater Kevin Hassett nannte KI-Sicherheit ein „lösbares Problem“. Demokraten wie Hakeem Jeffries und Ro Khanna fordern schärfere Sicherheitsregeln.
Peking verweigert die Gefolgschaft
Auch Peking lehnt den Vorstoß ab. Das chinesische Außenministerium wies ihn am 14. September 2026 zurück; Sprecher Guo Jiakun sagte laut Protokoll, Angstmacherei und bösartige Konkurrenz behinderten die Bemühungen um eine solide globale KI-Governance, die niemandem nützten.
„Angstmacherei, Konfrontation und bösartige Konkurrenz werden nur die Bemühungen um eine solide globale KI-Governance behindern, die niemandem nützt.“
Chinesische Staatsmedien deuteten den Essay als „Kalter-Krieg-Handbuch“, das vor allem Chinas KI-Aufstieg mit technologischen Barrieren bremsen und das Land aus der globalen KI-Governance ausschließen solle. Staatschef Xi Jinping warb parallel auf dem 18. BRICS-Gipfel in Neu-Delhi am 12. und 13. September 2026 für einen konsensbasierten globalen Rahmen und kündigte eine BRICS-KI-Open-Source-Community an.
Börsen im Minus, deutsche Forscher zweifeln
Die Finanzmärkte reagierten am 14. September 2026 mit teils deutlichen Kursverlusten: Der OpenAI-Investor SoftBank lag zwischenzeitlich über 13 Prozent im Minus, der Speicherhersteller Kioxia fast 10 Prozent.
Kursverluste am 14. September 2026
KI-nahe Aktien in Asien während der Debatte über eine Entwicklungspause
In Deutschland begrüßten Forscher den Vorstoß teils, zweifelten aber an der Umsetzung – darunter Jonas Geiping vom Max-Planck-Institut für Intelligente Systeme, Thilo Hagendorff von der Universität Stuttgart und Philipp Hennig von der Universität Tübingen. Die von Hubinger genannte Wahrscheinlichkeit von über 10 Prozent bewerteten sie gegenüber dem Science Media Center als „Scheinpräzision“ ohne Datengrundlage.
Die Bundesregierung erklärte, sie nehme die Warnungen „sehr ernst“; der Nationale Sicherheitsrat habe sich zweimal damit befasst. Ob die von Amodei vorgeschlagene Pause kommt, entscheidet sich in Washington und Peking – beide haben sie bereits abgelehnt. Offen ist, ob weitere Forscher die Labors verlassen.