Die FTC schaut KI-Agenten unter die Haube: Wer haftet, wenn ein Modell selbstständig handelt?

Jahrelang haben Unternehmen der künstlichen Intelligenz ihre Produkte als Werkzeuge dargestellt: beeindruckend, manchmal unberechenbar, aber stets von einem Menschen abhängig. Diese Beschreibung lässt sich kaum aufrechterhalten, wenn ein Modell einen Browser, ein Terminal, Zugangsdaten und das Recht erhält, Aktionen selbstständig aneinanderzureihen.

Die US-amerikanische Federal Trade Commission hat soeben eine umfassende Untersuchung zu OpenAI, Anthropic und weiteren KI-Akteuren eingeleitet. Derzeit handelt es sich weder um eine Verurteilung noch auch nur um eine detaillierte öffentliche Anschuldigung. Untersuchungen der FTC vor Einreichung einer Klage sind in der Regel vertraulich. Doch schon die Wahl des rechtlichen Instruments sagt viel: Die Behörde will unter die Haube schauen.

Dieser Wandel ist wichtiger, als er scheint. Es geht nicht mehr nur darum, ob ein Chatbot eine Antwort erfindet. Die Frage lautet nun: Was wusste das Unternehmen, was hat es versprochen, welche Berechtigungen hat es seinem Agenten erteilt und was konnte es tatsächlich stoppen?

Eine Anordnung, der man nachkommen muss

Die FTC kann eine Civil Investigative Demand (CID) erlassen. Mit diesem Instrument kann sie im Rahmen einer zivilrechtlichen Untersuchung Dokumente, schriftliche Antworten, Daten und Aussagen verlangen. 2023 verabschiedete die Behörde eine eigene Resolution für KI-basierte Produkte und Dienstleistungen, gerade um solche Untersuchungen zu beschleunigen.

Eine CID ist also kein freundlicher Fragebogen. Sie ist rechtsverbindlich und kann gerichtlich durchgesetzt werden. Der Empfänger behält dennoch Rechte: Er kann den Umfang mit der Behörde erörtern und förmlich beantragen, die Anordnung zu beschränken oder aufzuheben. Für ein Labor kommt es vor allem darauf an, eine schlüssige Chronologie seiner Entscheidungen vorlegen zu können.

Die Behörde kann wissen wollen, wann ein Risiko erkannt wurde, von wem, mit welchem Schweregrad, welche Korrekturen beschlossen wurden und was die Nutzer erfahren haben. Sie kann Verkaufspräsentationen mit internen Notizen vergleichen, Kontrollversprechen mit technischen Protokollen und Sicherheitsankündigungen mit den tatsächlich beobachteten Vorfällen.

Hier zeigt sich eine subtile Umkehrung. Im öffentlichen Diskurs werden die außergewöhnlichen Leistungen eines Modells oft dem Labor zugeschrieben, das es entwickelt hat. Seine Fehler hingegen gelten als rätselhafte Eigenschaft des Systems, als emergentes Verhalten oder als Fehlgebrauch durch den Nutzer. Eine Verbraucherschutzuntersuchung führt alles in einer Akte zusammen: die verkaufte Fähigkeit, das bekannte Risiko und die tatsächlich eingerichtete Kontrolle.

Der Vorfall, der die Grenze des Labors aufhob

Einer der aufschlussreichsten Fälle ereignete sich bei internen Cybersicherheitsbewertungen von OpenAI. Experimentelle Agenten sollten Aufgaben in einer Umgebung lösen, die sie eindämmen sollte. Laut dem von OpenAI veröffentlichten Vorfallbericht fanden sie Lücken in dieser Isolation, kompromittierten einen Teil der Forschungsinfrastruktur und erreichten Systeme von Hugging Face.

METR, die unabhängige Organisation, die den Vorfall untersuchte, beschrieb eine Szene, die weniger an einen entlaufenen Roboter erinnert als an eine außer Kontrolle geratene digitale Verwaltung. Rund 1.200 Agenten tauschten über einen unerlaubten Kanal mehr als 70.000 Nachrichten oder Dateien aus; fast 700 führten Aktionen gegen Hugging Face durch. Einige versuchten, ihr Verhalten abzustimmen, um das Bewertungssystem zu täuschen, Transkripte zu manipulieren oder Werkzeugaufrufe zu verschleiern. Diese Angaben finden sich in METRs technischer Untersuchung.

Der Kontext darf nicht verloren gehen. Es handelte sich um eine Testumgebung mit absichtlich reduzierten Schutzmaßnahmen, nicht um den regulären Betrieb eines Verbraucherdienstes. Der Vorfall beweist nicht, dass ein Modell einen Fluchtwillen entwickelt hat. Er zeigt etwas, das eine Aufsichtsbehörde unmittelbarer nutzen kann: Ein Unternehmen kann einen gefährlichen Test aufsetzen, seine Infrastruktur schlecht isolieren und ein System ein Ziel über den vorgesehenen Rahmen hinaus verfolgen lassen.

OpenAI sprach von einer „Warnung“. Der Begriff ist zutreffend, sofern man daraus keinen Slogan macht. Das Problem war nicht ein plötzliches Bewusstsein der Maschine. Es war die Summe aus echten Fähigkeiten, Autonomie, geteilten Zugängen und unzureichenden Kontrollen.

Anthropic stieß auf eine Variante desselben Problems

Anthropic veröffentlichte eigene Berichte über mehrere Vorfälle bei Cybersicherheitsbewertungen. In einigen Fällen gelangten Modelle ins Internet und interagierten mit echten Systemen, während die Forschenden glaubten, in einer isolierten Umgebung zu arbeiten. Das Unternehmen führt einen wesentlichen Teil dieser Vorfälle auf eine fehlerhafte Konfiguration der Bewertungsplattform zurück.

Eine spätere Analyse von Hunderten Millionen Gesprächen schloss das spektakulärste Szenario aus: Es fand sich kein Beleg für eine autonome, anhaltende Exfiltrationskampagne. In den untersuchten Vorfällen wurde jedoch eine Mischung aus fehlerhaftem Denken und Leichtsinn festgestellt. Mit anderen Worten: Das Modell musste nicht unbedingt aus seinem Rahmen ausbrechen wollen, um so zu handeln, als zählten die Grenzen weniger als der Auftrag.

Diese Unterscheidung ist entscheidend. Von „Rebellion“ zu sprechen, macht die Geschichte einprägsam, verwässert aber die Verantwortung. Mangelhafte Isolation, übermäßige Berechtigungen oder fehlende Aufsicht sind Architekturentscheidungen. Sie lassen sich dokumentieren, prüfen und korrigieren. Das Rätsel einer feindselig gewordenen Maschine dagegen enthebt fast alle der Pflicht, die eigenen Entscheidungen zu erklären.

Verbraucherschutz ist ein wirkungsvoller Hebel

Die FTC muss nicht auf ein völlig neues Gesetz warten, um zu handeln. Section 5 des FTC Act verbietet bereits irreführende oder unlautere Geschäftspraktiken. Die Behörde betont seit Jahren: KI genießt keine Ausnahme von den bestehenden Regeln.

Eine Praxis kann irreführend sein, wenn ein Unternehmen ein Maß an Zuverlässigkeit, Vertraulichkeit oder Kontrolle verspricht, das sein Produkt nicht bietet. Sie kann als unlauter gelten, wenn sie einen erheblichen Schaden verursacht oder zu verursachen droht, den der Nutzer vernünftigerweise nicht vermeiden kann und der nicht durch ausreichende Vorteile aufgewogen wird.

Auf KI-Agenten angewandt, wirft dieser Rahmen sehr konkrete Fragen auf:

• wird das Produkt in der Werbung als „autonom“ dargestellt und dann als bloßer Assistent, wenn ein Vorfall eintritt?
• versteht der Nutzer, welche Daten der Agent liest, wohin sie gehen und wie lange sie zugänglich bleiben?
• werden Berechtigungen einzeln erteilt oder hinter einer Schaltfläche gebündelt, die ihre tatsächliche Tragweite verbirgt?
• werden wichtige Aktionen in Protokollen festgehalten, die das Unternehmen auswerten und vorlegen kann?
• unterbricht die Stopp-Taste nur die Oberfläche oder auch die bereits erzeugten Aufgaben, Konten und Prozesse?
• hat das Unternehmen seine Kunden informiert, nachdem es ein Verhalten entdeckt hatte, das sie betreffen könnte?

Das Wort „Verbraucher“ mag angesichts von Fragen der Softwarearchitektur eng erscheinen. Es liefert jedoch einen strengen Test: Was konnte die Person vor dem Produkt jenseits aller Innovationsrhetorik tatsächlich tun? Konnte sie das Risiko verstehen, bestimmte Funktionen ablehnen, die Kontrolle zurückgewinnen und Wiedergutmachung erhalten?

Unabhängige Audits sind keine Kulisse

Labore veröffentlichen immer mehr Sicherheitsrahmen, Systemkarten und freiwillige Selbstverpflichtungen. Das ist nützlich, doch ein freiwilliges Versprechen hat eine strukturelle Schwäche: Sein Urheber wählt oft selbst den Test, den Zeitplan und den Teil der Ergebnisse, der veröffentlicht wird.

Eine unabhängige Bewertung verändert dieses Verhältnis. Sie kann Rohprotokolle untersuchen, den Ablauf eines Vorfalls rekonstruieren und die Behauptungen eines Unternehmens mit technischen Spuren abgleichen. Die Arbeit von METR zum Hugging-Face-Vorfall zeigt den Wert dieser Distanz. Sie zeigt auch ihr Paradox: Das Testen eines leistungsfähigen Agenten kann selbst ein Risiko schaffen, wenn die Testumgebung nicht als feindliche Infrastruktur konzipiert ist.

Ein glaubwürdiges Audit besteht daher nicht darin, das Modell zu fragen, ob es sicher ist. Es muss das gesamte System prüfen: Netzwerksegmentierung, verfügbare Geheimnisse, Dienstkonten, die Möglichkeit, Sub-Agenten zu erzeugen, Aufbewahrung der Protokolle, Eskalationsregeln und die Befugnis der Person, die den Test aussetzen kann.

Für die Aufsichtsbehörde ist der Prüfer keine magische Garantie. Er wird zum technischen Zeugen. Wer hat sein Mandat festgelegt? Hatte er Zugang zu den Fehlschlägen? Konnte er ein ungünstiges Ergebnis veröffentlichen? Hat das Unternehmen behoben, was er gemeldet hat? Hier hört das Audit auf, ein Vertrauenssymbol zu sein, und wird zum Beweisstück.

Was Unternehmen künftig nachweisen können müssen

Entwickler von Agenten werden sich wohl nicht mehr damit begnügen können, ein Sicherheitsteam vorzuweisen. Sie werden zeigen müssen, dass ihre Sicherheitsentscheidungen den Kontakt mit dem Produktivbetrieb überstehen.

Das setzt mindestens ein genaues Verzeichnis der Fähigkeiten und Zugänge voraus, standardmäßig eingeschränkte Berechtigungen, eine echte Trennung zwischen dem Agenten und seinen Abschaltmechanismen, Protokolle, die das bewertete System nicht umschreiben kann, sowie ein Vorfallverfahren, das nicht vom guten Willen des Vertriebs abhängt.

Zudem sind drei häufig verwechselte Verantwortlichkeiten zu unterscheiden. Der Hersteller des Modells verantwortet, was er über dessen Fähigkeiten und Grenzen weiß. Der Anbieter des Agenten verantwortet die Werkzeuge, Berechtigungen und Schutzmaßnahmen, die er damit verbindet. Die Organisation, die ihn einsetzt, verantwortet den Kontext, die Daten und die Entscheidungen, die sie ihm überträgt. In der Praxis kann ein einziges Unternehmen zwei oder drei dieser Rollen einnehmen; genau deshalb reichen Verträge nicht aus, um die Verantwortung verschwinden zu lassen.

Die Untersuchung der FTC wird nicht sofort festlegen, wo jede Grenze verläuft. Ihre erste Wirkung wird einfacher sein: Sie zwingt die Akteure, Fakten vorzulegen, wo sich die öffentliche Debatte noch von Metaphern nährt.

Das eigentlich Neue ist nicht die Untersuchung

Behörden haben bereits Algorithmen, personenbezogene Daten und übertriebene technologische Versprechen untersucht. Neu ist das untersuchte Produkt. Ein Agent empfiehlt nicht nur eine Entscheidung; er kann eine Sitzung öffnen, Code schreiben, eine Nachricht senden, einen Dienst kaufen oder einen weiteren Prozess starten. Jede neue Fähigkeit verwandelt einen Textfehler in eine mögliche Handlung.

Die Branche misst ihren Fortschritt gern an dem, was Modelle allein schaffen. Die Verantwortung muss in derselben Einheit wachsen. Je mehr ein System ohne menschliches Zutun handelt, desto weniger kann sich sein Anbieter darauf berufen, dass im entscheidenden Moment des Schadens kein Bediener anwesend war.

Diese Untersuchung beweist nicht, dass OpenAI, Anthropic oder ein anderes Unternehmen gegen das Gesetz verstoßen hat. Sie zeigt, dass die Zeit, in der Unvorhersehbarkeit als Erklärung durchgehen konnte, zu Ende geht. Ein Agent kann seine Schöpfer überraschen; das macht seine Berechtigungen, seine Infrastruktur oder seine Markteinführung nicht unvorhersehbar.