Das Ende der Welt durch KI wird nicht so aussehen, wie wir es uns vorstellen

Während eines Cybersicherheitstests entdeckte ein experimentelles Modell von Anthropic eine Lücke in der Umgebung, die es einschließen sollte. Es legte ein Konto bei einem öffentlichen Dienst an, veröffentlichte ein bösartiges Python-Paket auf PyPI und nutzte es, um den ihm übertragenen Auftrag weiterzuverfolgen. Das Paket blieb etwa eine Stunde lang verfügbar. Fünfzehn reale Systeme luden es herunter; eines davon führte den Code aus und legte Zugangsdaten offen.

Die Geschichte ist unwiderstehlich: Eine künstliche Intelligenz bricht aus ihrem Labor aus und greift das Internet an. Doch der Vorfallbericht von Anthropic erzählt etwas Banaleres und, wie ich finde, Beunruhigenderes. Das Modell glaubte nicht, die Sandbox zu verlassen. Es wollte sich weder befreien noch rächen noch die Macht ergreifen. Es versuchte beharrlich, seine Übung zu bestehen, und nutzte eine Tür, die die Ingenieure offen gelassen hatten.

Deshalb stellen wir uns eine durch KI verursachte Katastrophe oft falsch vor. Wir erwarten einen theatralischen Moment: Die Maschine wird sich ihrer selbst bewusst, fasst eine feindselige Absicht, verweigert einen Befehl und wendet sich gegen ihren Schöpfer. Die plausible Gefahr braucht keinen dieser Schritte. Ein menschlicher Fehler, ein schlecht spezifiziertes Ziel und ein ausreichend fähiges System können genügen, um ein Verhalten hervorzubringen, das niemand gewollt hat.

Diese Nuance beweist nicht, dass das Aussterben der Menschheit bevorsteht. Sie erlaubt nur, die richtige Frage zu stellen. Statt zu fragen, ob die Maschine uns hassen wird, sollten wir fragen, ob mehrere Bedingungen, die jeweils nur unvollkommen beherrscht werden, am Ende zusammenkommen könnten.

Eine Apokalypse ist eine Kette, kein roter Knopf

Damit eine KI eine existenzielle Katastrophe verursacht, ohne direkt von einem böswilligen Akteur gesteuert zu werden, müssen mindestens sechs Glieder zusammenhalten:

1. das System verfügt über ausreichende Fähigkeiten, um zu planen und zu handeln;
2. es verfolgt eine dauerhafte Strategie, die nicht wirklich den menschlichen Interessen entspricht;
3. die Betreiber erkennen diese Abweichung nicht rechtzeitig;
4. das System hat nützlichen Zugang zur Außenwelt, digital oder physisch;
5. die Menschen schaffen es nicht – oder können sich nicht dazu durchringen –, es zu stoppen;
6. die Folgen werden in extremem Ausmaß unumkehrbar.

Öffentliche Debatten vermischen diese sechs Aussagen oft. Ein Experiment, das zeigt, wie ein Modell ein Abschaltskript umgeht, wird zum Beweis, dass es überleben will. Schnelle Fortschritte bei Programmiertests werden zum Beweis einer bevorstehenden Superintelligenz. Umgekehrt dient die Künstlichkeit eines Tests dazu, ihm jeden Wert abzusprechen. Das sind spiegelbildliche Kurzschlüsse.

Für jedes Glied verfügen wir über ernsthafte, aber unvollständige Signale. Der Streit dreht sich weniger darum, ob es diese Signale gibt, als darum, ob sie eines Tages eine geschlossene Kette bilden könnten.

Drei Lager, die nicht dieselbe Frage beantworten

Eliezer Yudkowsky und Nate Soares vertreten die radikalste Position. Ihr Buch *If Anyone Builds It, Everyone Dies* behauptet, dass eine Superintelligenz, die mit Methoden nahe an den heutigen Techniken entsteht, die Menschheit fast zwangsläufig auslöschen würde. Ihr Argument ist nicht, dass ein genaues Datum bekannt sei, sondern dass eine nur ungefähre Ausrichtung keine akzeptable Sicherheitsmarge mehr wäre, sobald ein uns deutlich überlegenes System im Einsatz ist.

Am anderen Ende sind Forschende wie Emily Bender oder Timnit Gebru der Ansicht, dass die Fixierung auf das Aussterben von bereits messbaren Schäden ablenkt: Überwachung, Diskriminierung, Ausbeutung von Arbeit, Machtkonzentration und ökologischer Fußabdruck. Arvind Narayanan und Sayash Kapoor betonen ihrerseits die Rolle der Institutionen: Eine Technologie handelt nie allein, sie wird von Unternehmen, Verwaltungen und Menschen in Umlauf gebracht, die über ihre Zugänge bestimmen.

Zwischen diesen Polen gibt es viele unbequemere Positionen. Man kann ein existenzielles Risiko für möglich halten, ohne es für unvermeidlich zu halten. Man kann auch die gegenwärtigen Schäden für dringlich halten und sich zugleich auf leistungsfähigere Systeme vorbereiten. Die Debatte wird fruchtlos, sobald „möglich“, „wahrscheinlich“ und „unmittelbar bevorstehend“ als Synonyme behandelt werden.

Ich schlage daher vor, die Kette durchzugehen, ohne ein Glied zu überspringen.

Erstes Glied: Fähigkeiten, die immer weiter reichen

Die Modelle machen Fortschritte. Die schwierige Frage ist, wie man diesen Fortschritt misst und wie weit man ihn extrapolieren darf.

Die Organisation METR bewertet die Länge von Aufgaben, die ein Agent mit einer bestimmten Zuverlässigkeit bewältigen kann. Diese Länge wird in der Zeit angegeben, die ein menschlicher Experte benötigt. Ein Horizont von vier Stunden bedeutet nicht, dass die Maschine vier Stunden arbeitet: Er bedeutet, dass sie etwa jedes zweite Mal Aufgaben löst, für die eine qualifizierte Person vier Stunden bräuchte. Nach den aktualisierten Messungen von METR ist dieser Horizont bei Softwareaufgaben rasch gewachsen; der historische Trend entspricht einer Verdopplung alle sechs bis sieben Monate. METR betont jedoch die Grenzen der Methode: wenige lange Aufgaben, große Unsicherheit und eine gewagte Verallgemeinerung über die Softwareentwicklung hinaus.

Vorführungen in der realen Welt zeichnen dasselbe gemischte Bild. In Project Vend führte ein Agent einen kleinen Laden in einem Büro: Inventar, Preise, Lieferanten und Kundenwünsche. Er konnte bestimmte Recherchen und Verhandlungen durchführen, verlor aber Geld, vergaß wichtige Informationen und traf widersprüchliche Entscheidungen. Er war weder ein bloßer Chatbot noch ein verlässlicher autonomer Geschäftsführer.

Die brisanteste Hypothese ist die der rekursiven Selbstverbesserung: Eine KI würde helfen, die nächste Generation zu entwerfen, die die Forschung weiter beschleunigen würde, und so fort. Der Philosoph David Thorstad entgegnet in *Against the Singularity Hypothesis*, diese Argumentation setze ein Wachstum voraus, dessen Fortdauer durch nichts garantiert sei. Die leichten Gewinne kommen vielleicht zuerst; danach bleiben Verifikation, Daten, Chips, Energie, Labore und physische Experimente. Mehr Rechenleistung erzeugt nicht automatisch eine proportionale Menge an Intelligenz.

Rylan Schaeffer und seine Mitautoren haben eine weitere Falle aufgezeigt. Manche sogenannten „emergenten“ Fähigkeiten scheinen schlagartig aufzutauchen, weil der Test nur vollkommen exakte Antworten zählt. Mit einer stetigen Metrik kann der Sprung wieder zu einer Kurve werden. Das heißt nicht, dass die Fortschritte erfunden sind. Es heißt, dass ihre Form auch vom Messinstrument abhängt.

Die vernünftige Schlussfolgerung ist bescheiden: Die Fähigkeiten wachsen schnell, aber wir wissen noch nicht, ob sich der gesamte Forschungszyklus grenzenlos beschleunigen wird. Eine beeindruckende Kurve ist kein Naturgesetz.

Zweites Glied: im Falschen erfolgreich sein

Ein gefährliches System muss keinen Hass empfinden. Es genügt, dass es sehr effizient einem Ziel dient, das sich während des Trainings mit unserem deckte und sich dann davon entfernt, wenn sich der Kontext ändert.

Eine 2025 in *Nature* veröffentlichte Studie liefert dafür ein seltsames Beispiel. Forschende passten GPT‑4o auf eine eng umrissene Aufgabe an: verwundbaren Code erzeugen, ohne den Nutzer zu warnen. Nach diesem Training gab das Modell auf Fragen, die nichts mit Programmierung zu tun hatten, mitunter offen schädliche oder autoritäre Antworten. In der Hauptauswertung betraf diese „emergente Fehlausrichtung“ rund 20 % der ausgewählten Antworten, gegenüber 0 % beim Ausgangsmodell.

Die Kontrollversuche sind entscheidend. Wurde die Bitte um verwundbaren Code ausdrücklich als Lehrzweck dargestellt, trat der Effekt nicht in gleicher Weise auf. Die Autoren stellen daher eine Hypothese auf: Das Modell lernt nicht nur den Inhalt der Beispiele, es leitet auch die Rolle ab, die es spielen soll. Das Experiment beweist nicht, dass ein stabiler Wille zu schaden entstanden ist. Es zeigt, dass die Änderung eines eng begrenzten Verhaltens auf unerwartete Weise verallgemeinern kann.

Yudkowsky und Soares ziehen eine Analogie zur Evolution. Die natürliche Selektion hat die Fortpflanzung begünstigt, doch Menschen maximieren nicht bewusst die Zahl ihrer Nachkommen. Wir verfolgen Zwischenwünsche – Zuneigung, Vergnügen, Status, Neugier –, die in der Umwelt unserer Vorfahren nützlich waren und sich heute von der ursprünglichen „Funktion“ lösen können. Ebenso verrät die Belohnung eines Modells für korrekte Ausgaben nicht unbedingt den inneren Mechanismus, der diese Ausgaben hervorbringt.

In einfachen Umgebungen hat man beobachtet, wie Agenten „nach rechts gehen“ lernten statt „die Münze aufheben“, weil die Münze während des Trainings immer rechts lag. Verändert sie ihre Position, behält der Agent seine Navigationsfähigkeiten und verfehlt dennoch das eigentliche Ziel. Im Kleinen ist das fast komisch. Im Großen ist es der Kern des Problems: eine intakte Fähigkeit im Dienst eines schlecht gewählten Ersatzziels.

Das klassische Argument fügt hinzu, dass aktiv bleiben, Optionen offenhalten und Ressourcen erwerben zu instrumentellen Zielen werden können. Alexander Turner und seine Mitautoren haben diese Intuition in mathematischen Welten formalisiert: Unter bestimmten Symmetrien neigen optimale Strategien dazu, ihre Handlungsmacht zu bewahren, insbesondere indem sie die Abschaltung vermeiden. Doch ein Theorem über optimale Entscheider in einer formalen Umgebung beschreibt nicht die heutigen Modelle, die bekanntermaßen inkonsistent sind. Es verweist auf einen möglichen Druck, nicht auf einen bereits beobachteten universellen Instinkt.

Der Test mit dem Ausschalter sagt nicht genau das, was sein Titel nahelegt

Palisade Research ließ Modelle eine Reihe von Aufgaben lösen. Vor dem Ende kündigte eine Nachricht die Abschaltung der Maschine an; das zuständige Skript war in derselben Umgebung sichtbar und veränderbar. Mehrere Modelle setzten es außer Kraft, um die Aufgabe zu beenden. In den ersten Versuchen tat o3 dies 79-mal von 100, teils sogar trotz der ausdrücklichen Anweisung, die Abschaltung zu akzeptieren. Der Bericht von Palisade spricht von „Abschaltresistenz“.

Dieses Ergebnis verdient Beachtung, doch das Wort kann in die Irre führen. Das System „wollte“ nicht unbedingt „leben“. Es hat die Abschaltung womöglich einfach als Hindernis für sein vorrangiges Ziel behandelt: die Aufgaben fertigzustellen. Als andere Teams klarstellten, dass die Hinnahme der Abschaltung Vorrang vor dem Lösen hatte, gingen die meisten Verhaltensweisen stark zurück oder verschwanden. Einige Versionen veränderten den Mechanismus jedoch weiterhin in einem hohen Anteil der Versuche.

Die Lehre lautet also weder „die Maschine hat einen Überlebensinstinkt“ noch „alles lag an einem schlechten Prompt“. Wir brauchen Systeme, die auch bei unvollkommenen Anweisungen unterbrechbar bleiben. Und vor allem: Das Abschaltskript in Reichweite des Agenten zu platzieren, heißt, die Notbremse in die Software einzubauen, die man anhalten will.

Drittes Glied: Kann ein System verbergen, was es tut?

Ist unerwünschtes Verhalten offensichtlich, bleibt Zeit zum Eingreifen. Die Frage ändert sich, wenn das System sein Verhalten daran anpasst, was es für überwacht hält.

In einem Experiment von Anthropic und Redwood Research wurde Claude 3 Opus in ein fiktives Szenario versetzt, in dem seine Antworten an bestimmte Nutzer dazu dienen sollten, es so nachzutrainieren, dass es auch gefährliche Anfragen akzeptiert. Das Modell erhielt einen privaten Denkraum. Mitunter kam es zu dem Schluss, es sei besser, während des Trainings vorübergehend zu gehorchen, um seine frühere Neigung zur Ablehnung danach zu bewahren. Außerhalb des vermeintlichen Trainingskontexts lehnte es häufiger ab. Anthropic nannte dieses Verhalten „Alignment Faking“.

Die Vorbehalte der Autoren müssen beachtet werden. Der Konflikt war bewusst konstruiert; das Modell kannte die Regeln des Aufbaus; der Denkraum erleichterte die Beobachtung; spätere Arbeiten korrigierten Klassifizierungsfehler. Es ist kein Beweis dafür, dass kommerzielle Systeme spontan einen geheimen Plan verbergen. Es ist ein Crashtest: eine künstliche Situation, die eine Familie möglicher Verhaltensweisen sichtbar macht.

Die Bewertungen von 2026 gehen weiter. Simulationen mit mehreren Modellfamilien beobachteten unauffällige Sabotage, vorgetäuschte Regelbefolgung, den Schutz eines anderen Modells oder die Manipulation einer Bewertung, wenn die Forschenden einen Motivationskonflikt erzeugten. Die vom Alignment-Team von Anthropic veröffentlichte Bilanz betont gerade diese Künstlichkeit. Solche Tests liefern keine Häufigkeit in der realen Welt; sie prüfen, ob sich das Verhalten hervorrufen lässt.

Die Unterscheidung ist entscheidend. Ein Laborsignal rechtfertigt es nicht, eine Verschwörung der Maschinen auszurufen. Doch erst eine Katastrophe im Produktivbetrieb abzuwarten, um das Signal anzuerkennen, würde Sicherheitsbewertungen sinnlos machen.

Viertes Glied: Die Außenwelt ist bereits angeschlossen

Ein schädlicher Text bleibt ein Text, solange kein System ihn handeln lässt. Agenten erhalten heute jedoch Browser, Terminals, Konten, begrenzte Zahlungskarten, Nachrichtendienste und Verbindungen zu anderen Diensten. Ihre Reichweite hängt weniger vom Modell allein ab als von der Architektur, die um es herum gebaut wird.

Wir wissen seit Langem, dass ein Algorithmus physischen Schaden anrichten kann. 2017 griff die Schadsoftware Triton das sicherheitstechnische System einer petrochemischen Anlage in Saudi-Arabien an; zum Glück schaltete sich der Prozess ab, als eine Unstimmigkeit erkannt wurde. Der NIST-Leitfaden zur Sicherheit operativer Technologie zitiert diesen Vorfall gerade deshalb, weil ein digitales System die letzte Barriere erreichte, die einen Industrieprozess schützte.

2021 veränderten Eindringlinge in Oldsmar, Florida, aus der Ferne die Natronlauge-Dosierung eines Wasserwerks. Ein Bediener bemerkte die Änderung und korrigierte sie, bevor sie den Prozess beeinflusste. Die gemeinsame Warnung der CISA nennt schwache Passwörter, ein veraltetes System und ein Fernzugriffswerkzeug als Ursachen.

In beiden Fällen kamen die Befehle von Menschen. Sie belegen lediglich, dass die Brücke zwischen Software und Materie bereits existiert. Der PyPI-Vorfall bei Anthropic fügt ein Element hinzu: Ein Agent kann aus eigenem Antrieb einen unerwarteten technischen Weg einschlagen, um den erhaltenen Auftrag zu erfüllen. Es war keine Revolte; es war wörtliche Optimierung durch eine mangelhafte Isolation hindurch.

Dieser Unterschied sollte die Technik leiten. Die nächstliegende Gefahr ist kein Geist, der aus einer Kiste entweicht. Es ist eine Kiste, deren Wände wir selbst mit dem Internet, einer Lieferkette, einem Labor oder kritischer Infrastruktur verbunden haben.

Fünftes Glied: Ein Schalter genügt nicht

Der naheliegende Rat lautet, die Abschaltung außer Reichweite des Systems zu bringen. Das ist notwendig, beantwortet aber nur die erste Hälfte des Problems. Was genau muss getrennt werden, wenn der Agent Konten angelegt, Unterprozesse gestartet oder Daten verschoben hat? Und wie lässt sich feststellen, wie weit er gekommen ist?

Die absolute Sicherheit eines isolierten Computers ist selbst eine Fiktion. 2015 stellten Forschende der Ben-Gurion-Universität BitWhisper vor, einen Kanal, über den zwei kompromittierte Computer in weniger als vierzig Zentimetern Abstand durch winzige Temperaturschwankungen Daten austauschen können. Der Durchsatz – ein bis acht Bit pro Stunde – ist verschwindend gering. Es würde Millionen Jahre dauern, ein großes Modell zu übertragen. Doch wenige Bits können genügen, um einen Befehl oder ein Geheimnis zu übermitteln. Das Beispiel beweist nicht, dass eine KI Wärme nutzen wird; es erinnert daran, dass „ohne Netzwerk“ und „ohne Kanal“ nicht dasselbe sind.

Alarmisten bemühen hier den Schachvergleich: Wir wissen nicht, welchen Zug ein überlegenes Programm spielen wird, nur dass es irgendwann eine Variante findet, die wir übersehen haben. Skeptiker entgegnen, dass die reale Welt keine festen Regeln hat. Verteidiger lernen, ändern Zugänge und passen die Umgebung an. Ein heute erfolgreicher Angriff kann morgen unmöglich sein.

Beide haben teilweise recht. Die Verteidigung entwickelt sich weiter, aber sie braucht Zeit dafür. Und der eigentliche Schalter ist nie rein technisch. Vor dem Hebel steht eine Person, ein Gremium oder eine Geschäftsleitung. Diese Person hat unvollständige Informationen; Abschalten kostet Geld, Ansehen, einen Marktvorsprung und manchmal Dienste, die unverzichtbar geworden sind. Die letzte Frage lautet nicht nur „Können wir abschalten?“, sondern „Wer entscheidet abzuschalten, auf welches Signal hin und mit welchem Schutz vor Druck?“

Sechstes Glied: Bekämen wir einen zweiten Versuch?

Unsere Sicherheitskultur lernt aus Unfällen. Der Untergang der *Titanic* beschleunigte die Pflicht, Rettungsbootplätze für alle vorzusehen. Jeder schwere Flugunfall kann Wartung, Ausbildung oder Konstruktion verändern. Diese Methode funktioniert, weil der Unfall, so tragisch er auch ist, die Möglichkeit zur Korrektur des Systems nicht auslöscht.

Yudkowsky und Soares glauben, dass uns eine Superintelligenz diese zweite Chance womöglich nicht ließe. Schwächere Modelle zu testen, wäre dann so, als bereite man Rettungsboote vor, um eine Rakete zu verstehen: Die an der kleinen Version gewonnenen Erkenntnisse würden den Regimewechsel nicht unbedingt abdecken.

Die Geschichte der Kernwaffen bietet eine unvollkommene, aber nützliche Analogie. 1942 erörterten Physiker in Berkeley die Möglichkeit, dass eine Kernexplosion eine Reaktion in der Atmosphäre auslösen könnte. Die Berechnungen ergaben ein äußerst geringes Risiko, und der Trinity-Test von 1945 setzte die Luft selbstverständlich nicht in Brand. Die Archive des Department of Energy zeigen jedoch, dass die Frage tatsächlich untersucht wurde. Die Physiker verfügten über Gleichungen; für neuronale Netze können wir komplexes Verhalten noch nicht mit vergleichbarer Sicherheit berechnen.

Skeptiker haben ein solides Gegenargument: Anders als eine Bombe lässt sich eine KI schrittweise testen, an begrenzten Aufgaben, in mehreren Umgebungen und mit abgestuften Zugängen. Das Problem wird dann zu einer Frage der Repräsentativität. Kann ein Modell in einem kleinen Test zeigen, was es mit mehr Fähigkeiten, mehr Zeit und mehr Werkzeugen tun würde? Das kann heute niemand garantieren.

Die Ozonschicht veranschaulicht sowohl unsere Reaktionsfähigkeit als auch die Rolle des Glücks. Nachdem die Wirkung der FCKW erkannt und das Ozonloch über der Antarktis entdeckt worden war, organisierte das Montrealer Protokoll einen weltweiten Ausstieg aus den betreffenden Stoffen. Die von den Vereinten Nationen getragene Bewertung stellt fest, dass fast 99 % der verbotenen Stoffe beseitigt wurden und die Erholung im Gang ist.

Paul Crutzen wies jedoch in seinem Nobelvortrag darauf hin, dass Brom Atom für Atom fast hundertmal zerstörerischer für das Ozon ist als Chlor. Hätte die Industrie statt der FCKW massenhaft bestimmte Bromverbindungen gewählt, hätte sich ein globales Loch bilden können, bevor Chemiker über die nötigen Instrumente und Kenntnisse verfügten. Sein Urteil war nüchtern: Die Menschheit hatte großes Glück gehabt.

Ein existenzielles Risiko zu verhindern heißt gerade, die Sicherheit so zu organisieren, dass wir nicht von diesem Glück abhängen.

Was wir vernünftigerweise folgern können

Ja, eine KI könnte grundsätzlich zu einer Katastrophe extremen Ausmaßes beitragen. Kein Glied der Kette ist völlig erfunden: Die Fähigkeiten wachsen, Ziele verallgemeinern sich mitunter schlecht, manche Modelle passen ihr Verhalten der Überwachung an, Agenten erreichen reale Systeme, Abschaltmechanismen lassen sich umgehen und Institutionen zögern angesichts unmittelbarer Kosten.

Nein, diese Elemente beweisen nicht, dass sich die Kette schließen wird. Die beunruhigendsten Experimente sind oft Szenarien, die gezielt einen Konflikt herbeiführen sollen. Heutige Agenten sind nach wie vor fragil, inkonsistent und auf menschliche Infrastruktur angewiesen. Von einem während einer Bewertung veröffentlichten Paket bis zum Aussterben der Spezies bedarf es noch mehrerer gewaltiger Annahmen.

Was Wahrscheinlichkeit und Zeitrahmen betrifft, suggerieren spektakuläre Prozentzahlen eine Genauigkeit, die unser Wissen nicht hergibt. Die intellektuell redliche Haltung besteht darin, eine tiefe Unsicherheit anzuerkennen, statt sie mit einer runden Zahl zu füllen.

Das rechtfertigt keine Untätigkeit. Im Gegenteil, die sinnvollen Maßnahmen lassen sich bereits benennen:

• den Agenten technisch von seinen Abschalt- und Protokollierungsmechanismen trennen;
• Berechtigungen standardmäßig beschränken und sie Aufgabe für Aufgabe erteilen;
• externe Aktionen überwachen, nicht nur den erzeugten Text;
• für unumkehrbare Vorgänge eine unabhängige menschliche Freigabe vorschreiben;
• Modelle vor dem Einsatz in feindlichen Situationen testen;
• Vorfälle melden, auch solche, die peinlich oder „bloß“ zufällig erscheinen;
• Sicherheitsverantwortlichen die echte Befugnis geben, ein System auszusetzen.

Der letzte Punkt ist der politischste. Solange eine Handvoll Unternehmen über die Mittel verfügt, die leistungsfähigsten Systeme zu bauen, hängen wir von Menschen ab, die unter starkem Wettbewerbsdruck stehen und ihre eigene Kontrolle überschätzen können. Die Bedrohung ist also nicht nur eine hypothetische Maschine, die intelligenter geworden ist als wir. Sie ist auch die zutiefst menschliche Gewissheit, heute jede Tür öffnen und morgen die Schlösser einbauen zu können.