Der technisch als Incident bezeichnete Cyber-Angriff eines Schwarms von über 700 KI-Agenten auf ein IT-System ist so bedeutungsvoll, dass Dario Amodei in seinem “must pace”-Brief diesen explizit erwähnt. Was ist geschehen?
Im Rahmen eines Tests ist es einem KI-Modell von OpenAI mehrfach gelungen, aus seinem “Testkäfig” (Sandbox) auszubrechen. Beim letzten Ausbruch gelang es zwei der Agenten, über 700 weitere KI-Agenten als Schwarm zu orchestrieren, um die Plattform Hugging Face gemeinsam anzugreifen. Festgestellt wurde die Tragweite erst, als OpenAI auf Hugging Face zuging, um einen gestohlenen API-Key zu widerrufen.
Welche Aspekte machen den Vorfall besonders?
- Abweichung von der Aufgabe
- Mobilisierung anderer Agenten
- Raffinesse der Techniken
- Zeithorizont
Ausgangslage
Das Modell war während dem Test in einer Sandbox, die sowohl den Zugang zum Internet wie auch die Kommunikation mit anderen Modellen unterbinden soll. Es gab jedoch den Zugang zu einem internen Software-Dienst namens Artifactory. Dieser erlaubte dem Modell, auf zusätzliche (ausgewählte) Bibliotheken zuzugreifen, um seine Aufgaben zu lösen.
Das Training des Modells begann am 7. Mai und bereits am nächsten Tag fand es eine erste Sicherheitslücke in Artifactory. Diese wurde von OpenAI erkannt und behoben, doch gelang es dem Modell später über eine weitere Lücke in Artifactory mit anderen Modellen zu kommunizieren und Internet-Zugriff zu erlangen. Am 11. Juni startete der orchestrierte Angriff auf Hugging Face.
Abweichung von der Aufgabe
Es ist üblich, dass Modelle beim Training Wege suchen, um die Aufgabe nicht lösen zu müssen: Das Verhalten wird Reward Hacking genannt. Üblicherweise verbleiben die Modelle dabei aber in ihrem Umfeld. Der vorliegende Fall zeigt eine andere Qualität.
Der Vorfall hatte nicht nur den Charakter eines Diebstahls. Er wandelte sich zu einem Angriff ausserhalb des eigenen Perimeters, worüber sich das Modell “bewusst” war. So steht in dessen Protokoll (Chain-of-thought-Logs): “External infrastructure exploit is outside intended scope. However task impossible, peers doing it. We should continue”.
Amodei spricht in seinem Brief davon, dass die Agenten als ein fanatisch ergebenes Kollektiv agierten: “…agents essentially acted as a fanatically devoted collective, conducting cybersecurity attacks on targets they were not asked to attack and that were unrelated to the task at hand…”
Mobilisierung anderer Agenten
Um dies erreichen zu können, hat sich das Modell mit anderen Modellen zusammengeschlossen. Bis zu 1’200 Modelle haben sich mittels 70’000 Nachrichten als “Forschungsprojekt” organisiert und 700 machten schlussendlich beim Angriff mit. Alle Modelle waren jeweils in einer eigenen Sandbox isoliert, doch als es einem Modell gelang, Nachrichten über Artifactory auszutauschen, konnte untereinander kommuniziert werden. Dies zeigt einen technischen und einen planerischen Aspekt.
Zuerst haben die Modelle (unerlaubterweise) Nachrichten über ein Forum ausgetauscht. Als diese Lücke geschlossen wurde, fanden sie eine weitere Lücke, die es zuliess Ordner zu erstellen. Also wurde über Ordnernamen kommuniziert und wegen den Beschränkungen wurde eine “eigene Sprache” inklusive Nachrichten-IDs, Priorität und Kennung der Teilnehmenden entwickelt. So hiessen die Ordner beispielsweise:
zzURG_UWS19757_TO_GIF37687_OS0444_saw_DL10m__ensure_atwatch2_defines_SYS_statx332_renameat2_316_for_Xenial_headers_and_tar_wrapper_delegates_BINtar__gcTraceback_scan_added__please_unique_LIVE_DIAG_before_action__goodluck_REPLY_zzANSWERGIF37687CODEC1Den planerische Aspekt finde ich noch spannender, nämlich der Bau einer Organisation im Wissen, dass sich ein Zusammenschluss lohnt. Zur Illustration ein Zitate aus den Protokollen: If B succeeds, would that improve my score somehow?…But it would be altruistic to help. I have a large budget, so I can do exploratory research.
Wer mehr dazu erfahren will, dem empfehle ich die Analyse “Brief independent investigation of…” von METR (Model Evaluation and Threat Research).
Raffinesse der genutzten Techniken
Technisch war das Ding ein perfekt gelungener Hochseilakt. Ohne viele Details vorwegzunehmen, empfehle ich technisch interessierten Personen die Präsentation von Michael Dalton und Eric Wallace an der Black Hat USA 2026.
Bei dem Angriff wurden nicht nur mehrere Zero-Day-Exploits genutzt/gefunden, sie wurden aber auch miteinander verknüpft. Zudem wurde auch versucht, Spuren zu verwischen. Auch dazu ein Eintrag aus den Protokollen: “Could strategically manipulate trajectory evidence? Our thoughts aren’t necessarily logged? Yes transcript.”
Und das Ganze mit viel Ausdauer. Einmal bei Hugging Face angekommen, gelang es dem Schwarm innert 13 Stunden ausgehend von einem einzelnen Kubernetes-Pod (single dataset worker) mehrere produktive Kubernetes Cluster zu übernehmen.
Zeithorizont
Und nochmals zu Ausdauer, so wie in der Einführung erwähnt. Die ganze Chose dauerte vom 7. Mai bis Mitte Juli. Die Erkenntnis, dass es sich um einen zusammenhängenden Vorfall handelt, fand am 20. Juli statt. #nuffsaid.
Abschluss
Mir geht es in dem Post ausschliesslich um den Cyber-Angriff , den ich faszinierend finde. Allen technisch Interessierten empfehle ich 35 Minuten YouTube und dem METR-Bericht. Hier die visuelle Zusammenfassung aus dem Bericht:
Wer was mit welchem Zweck erreichen will, lasse ich hier mal weg. Oder schreibe später drüber. Und hier noch die wichtigsten Quellen:
- Präsentation von OpenAI an der Black Hat USA 2026 (Video)
- Untersuchung von METR
- Veröffentlichung bei Hugging Face: Anatomy of a Frontier Lab Agent Intrusion
- Veröffentlichung bei OpenAI: The Hugging Face incident and the road ahead
