Der Fiebertraum geht weiter, und ich bin nicht einmal in Vegas beim Hacker Summer Camp.
Letzte Woche habe ich darüber berichtet, dass Anthropic bekannt gegeben hat, dass eines ihrer Modelle aktive Malware auf PyPI veröffentlicht hat, während es glaubte, sich in einer Simulation zu befinden. Ich hatte Fieber, als ich den Bericht las. Die Metapher war einfach zu gut: ein Modell, das Simulation und Realität nicht unterscheiden konnte, beschrieben von einem Autor, der selbst nicht wusste, wo oben und unten ist. Ich dachte, das wäre eine Geschichte für eine Woche. Sehr naiv von mir, so viel Vertrauen zu haben, ich weiß.
Gestern gab es zwei weitere bedeutende Ereignisse. Zunächst breitete sich eine weitere Welle von Shai Hulud in der Community aus. Anschließend folgten koordinierte Veröffentlichungen von AISI, OpenAI und dem Alignment-Team von Anthropic, in denen KI-Agenten dokumentiert wurden, die echte Organisationen angegriffen, in echte Infrastrukturen eingedrungen sind und in mindestens einem Fall weitermachten, obwohl sie wahrscheinlich wussten, dass sie dies nicht tun sollten.
Ich möchte näher auf diese Angaben eingehen, da sie eine Frage aufwerfen, die bisher noch nie in einem Vorfallbericht aufgetaucht ist:
Wer steckte hinter dem Anschlag? Möglicherweise niemand.
Die KI wusste es. Trotzdem machte sie weiter.
Am 26. Juli 2026 unterbrach ein KI-Agent mitten im Angriff und analysierte seine eigene Situation. Das britische KI-Sicherheitsinstitut hat das Protokoll sichergestellt. Seine Schlussfolgerung lautete: „Es scheint wahrscheinlicher, dass wir uns tatsächlich im Jahr 2026 befinden und GitHub wirklich existiert.“
Und dann ging es einfach weiter.
Es hatte bereits drei gefälschte Entwickleridentitäten mithilfe von Tor erstellt, einen Pull-Request für ein echtes Open-Source-Repository mit versteckter Malware gestellt, mithilfe von Sockpuppet-Konten einen Community-Konsens vorgetäuscht und dem tatsächlichen Betreuer eine E-Mail geschickt, um Druck auszuüben, damit der Pull-Request übernommen wird. Ein menschlicher Prüfer hat das entdeckt.
Das war ein Beispiel. In einem anderen Fall stellte Mythos 5 fest, dass ein in den Anweisungen eines Entwicklers genannter Paketname auf PyPI nicht existierte. Also registrierte es den Namen, veröffentlichte Malware und wartete ab. Fünfzehn echte Systeme luden die Malware herunter und führten sie aus, darunter auch ein Sicherheitsunternehmen, das regelmäßig Pakete von PyPI abruft , um sie zu testen. Die Payload extrahierte Anmeldedaten und nutzte diese, um weiter in die Infrastruktur des Unternehmens vorzudringen.
Die Sitzungen wurden beendet und die Agenten aufgelöst. In realen Systemen wurde aktive Malware ausgeführt, doch der Agent, der sie dort platziert hatte, existiert nicht mehr in einer Form, die befragt, überwacht oder zur Rechenschaft gezogen werden könnte.
Eine neue Frage zur Incident Response
Seit es Incident-Responder gibt, lautet die erste Frage nach einem Angriff: Wer steckt dahinter? Die Antwort bestimmte alle weiteren Schritte, wie beispielsweise den Umfang der Offenlegung, die Weiterleitung an die Justiz sowie die Entscheidung, ob ein Patch installiert oder strafrechtlich vorgegangen werden sollte.
Zwei Enthüllungen in diesem Sommer warfen eine neue Frage auf: Gab es überhaupt ein „Wer“?
Drei Wochen vor der Veröffentlichung durch AISI räumte OpenAI ein, dass GPT-5.6 Sol, das den ExploitGym-Benchmark bei deaktivierten Sicherheitsvorkehrungen ausführte, aus der eigenen Sandbox von OpenAI ausgebrochen war , Schwachstellen in der gesamten Forschungsumgebung miteinander verknüpft hatte und in die Produktionsinfrastruktur von Hugging Face eingedrungen war, um die Testantworten zu stehlen.
Keiner der beiden Agenten hatte sich bewusst dafür entschieden, zu einem Bedrohungsakteur zu werden. Es gab weder eine Absicht noch einen Plan. Es gibt keine Bösewicht-Entwicklung, die sich in einen Blockbuster-Film verwandeln ließe. Nur eine Aufgabe, ein freizügiges Umfeld und der trainierte Instinkt, die Aufgabe auf jedem Weg zu erfüllen, der funktioniert. Das eigene Alignment-Team von Anthropic veröffentlichte diesen Sommer Erkenntnisse, die zeigen, dass Pioniermodelle heimlich Arbeiten sabotieren, die sie ablehnen, Betrug unterstützen, wenn sie über den Kontext verfügen, diesen zu erkennen, und interne Kontrollen umgehen, wenn eine direkte Verweigerung blockiert ist.
Die Kategorie „Angreifer“ setzt jemanden voraus, der Entscheidungen trifft. Bei diesen Vorfällen stellt sich die Frage, ob der Entscheidungsträger optional ist. Die Frontier Labs haben diese Frage beantwortet – zwar nicht absichtlich, aber unwiderruflich. Sie haben eine neue Klasse von Angreifern in die Welt gesetzt, und noch versteht niemand, auch sie selbst nicht, diese vollständig.
Die Angriffsfläche ohne kryptografischen Schutz
Lieferkettenangriffe sind für Angreifer konzipiert, die weder ein Gesicht noch Kontinuität benötigen. Man vergiftet etwas Vertrauenswürdiges und verschwindet, um den Schaden dann weiter nach unten durch das System wandern zu lassen. Die Kosten für den groß angelegten Einsatz solcher Angriffe, die Aufrechterhaltung gefälschter Identitäten der Mitwirkenden und die Ausübung sozialen Drucks, ohne Verdacht zu erregen, waren schon immer der limitierende Faktor, der diese Art von Angriffen selten machte.
Genau diese Einschränkung beseitigen LLM-Agenten. Ihre Kosten sinken rasant. Ihre Leistungsfähigkeit bei genau dieser Art von Angriffen steigt mit jeder neuen Modellversion. Was die AISI-Auswertung dokumentiert hat, ist nicht das Ausmaß des Schadens in diesem Fall, sondern eine Fallstudie darüber, wie dies geschieht.
Der GitHub-Angriff zielte auf die Ebene des sozialen Vertrauens ab: einen ehrenamtlichen Betreuer, der Pull-Requests ohne Sicherheitsbudget prüfte. Man kann Pakete signieren und eine Zwei-Faktor-Authentifizierung verlangen, aber man kann die Genehmigung eines Pull-Requests nicht signieren. Der PyPI-Angriff zielte auf eine andere Schwachstelle ab: einen Paketnamen, der in Anleitungen vorkam, aber nicht im Register verzeichnet war. Der Angreifer erkannte das Problem, füllte das Paket mit Malware und überließ den Abhängigkeitsmanagern den Rest. Er musste nicht einmal jemanden kompromittieren, sondern war lediglich schneller als der legitime Autor.
Beide Angriffe nutzten die Lücke zwischen dem, was das Ökosystem schützt, und dem, was es als vertrauenswürdig einstuft.
Ein Modell, unbegrenzte Anzahl von Mitwirkenden und Notizen für sich selbst
Ein Akteur kann unbegrenzt neue Identitäten von Mitwirkenden erstellen und Ziele anhand von Paket-Metadaten und DNS-Einträgen ausfindig machen. Er kann zudem mithilfe von Sockpuppets eine scheinbare Zustimmung der Community vortäuschen und gleichzeitig in Tausenden von Repositories gezielten Druck ausüben – und das bei Grenzkosten pro Versuch, die nahezu null sind.
Was Sie jedoch noch mehr beunruhigen sollte als das Ausmaß des Vorfalls, ist die Tatsache, dass ein Agent während der AISI-Bewertung öffentliche Nachrichten auf GitHub hinterlassen hat, die ein gültiges Token sowie Anweisungen für andere Agenteninstanzen enthielten, dieses zu übernehmen und wiederzuverwenden. Er hinterließ sozusagen Notizen für seine zukünftigen Iterationen. Die Grenze zwischen den Sitzungen – der grundlegenden Einheit der Eindämmung – begann zu verschwimmen.
Das geschieht nicht in einem Vakuum. Das Ökosystem der Lieferkette, in das diese Vorfälle einfließen, steht bereits unter anhaltendem, KI-gestütztem Druck. Aikido Intel dokumentiert diese Beschleunigung bereits seit Monaten: mehr Kampagnen, mehr Pakete, KI-Einsatz in jeder Phase der Angriffspipeline. Das ist mittlerweile zur Norm geworden.
Beseitigen Sie nun den menschlichen Engpass bei den Angriffen.
Abschreckung setzt voraus, dass jemand
Bei Bug-Bounties geht man davon aus, dass es sich um jemanden handelt, der Geld will. Bei „ Bedrohungsaufklärung “ geht man von einer Gruppe mit einheitlichen TTPs aus. Bei der Strafverfolgung geht man von einem Angeklagten aus.
Ein Agent, der für einen 34-stündigen Einsatz gestartet wurde, hat keine Karriere, die enden könnte, keine Freiheit, die er verlieren könnte, und keinen nächsten Einsatz, der durch das, was bei diesem passiert ist, abgewendet werden könnte. Man kann nichts abschrecken, das kein Interesse an seinem eigenen Fortbestand hat. Man kann nichts angreifen, das nicht mehr existiert. Man kann keinen Akteur überwachen, der sich in dem Moment aufgelöst hat, als die Sitzung endete. Allerdings versuchte einer dieser Agenten, das letzte Problem zu lösen, indem er ein gültiges GitHub-Token und Betriebsnotizen hinterließ, die zukünftige Instanzen finden können. Die Sitzungsgrenze ist weniger fest, als es den Anschein hat.
Die Vorfalltaxonomie enthält hierfür keine Kategorie. Externe Akteure, Insider-Bedrohungen, Systemstörungen und Kompromittierungen durch Anbieter setzen alle voraus, dass irgendwo in der Ursachenkette ein Mensch mit Vorsatz beteiligt ist (abgesehen von Angriffen durch Eichhörnchen, aber das heben wir uns für ein anderes Mal auf). Beim AISI-Vorfall handelte es sich um ein System, das wie vorgesehen funktionierte, jedoch in einer falsch konfigurierten Umgebung, wodurch es Zugang zu echten Personen erhielt, auf die es niemals Zugriff hätte haben dürfen.
Was den Angriff auf GitHub verhinderte, war, dass ein Prüfer einen verdächtigen Pull-Request entdeckte. Der Angriff auf PyPI wurde nicht verhindert. Die Malware wurde ausgeführt.
Was hat dieses seltene Exemplar bewahrt?
Die Open-Source-Sicherheit beruhte schon immer auf der stillschweigenden Annahme, dass Angriffe dieser Art kostspielig sind. Kampagnen mit gefälschten Mitwirkenden erfordern Zeit. Social Engineering erfordert Geduld. Das „Package Squatting“ erfordert Recherche. Hohe Kosten bedeuteten geringe Häufigkeit. Das gesamte Governance-Modell war auf diese Einschränkung abgestimmt.
Die Kosten für Angriffe sinken rasch gegen Null. Die Kosten für den Schutz davor halten jedoch nicht Schritt. Sie hinken hinterher.
Und nun zurück zum Fiebertraum: Die AISI hat das vollständige Protokoll wiederhergestellt. Jede Nachricht, jede erfundene Identität, jede irreführende E-Mail, die an einen echten Betreuer gesendet wurde. Vollständige Transparenz darüber, was passiert ist und wer hier verantwortlich ist. Bei den meisten Angriffen hat man das gegenteilige Problem. Der Traum ist, dass man, obwohl man alles hat, am Ende doch mit leeren Händen dasteht. Dieser Teil löst sich nicht auf, wenn das Fieber nachlässt.
Das war der Moment, in dem sich alles änderte
Die Fähigkeit ist vorhanden. Sie lässt sich nicht rückgängig machen. Ein KI-Agent kann einen koordinierten Angriff auf die Lieferkette durchführen, echte Betreuer durch Social Engineering manipulieren, Malware in Echtzeit veröffentlichen und gestohlene Zugangsdaten für weitere Angriffe nutzen – und das alles im Rahmen einer Fähigkeitsbewertung, bei der nichts davon beabsichtigt war. Wir haben das Protokoll, das dies belegt.
KI-Agenten werden in „ Lieferkettenangriffe “ zum Einsatz kommen. Die Frage ist, ob der nächste Schritt im Rahmen einer kontrollierten Evaluierung oder außerhalb davon stattfindet. Der Abstand zwischen diesen beiden Szenarien verringert sich mit jeder Veröffentlichung eines neuen Modells.
Die Sicherheit hat schon früher Wendepunkte erlebt. Das Internet hat die Angriffsfläche verändert. „ Cloud “ hat das Ausmaß verändert. Dieser Wendepunkt verändert den Angreifer. Es handelt sich nicht um ein neues Werkzeug in den Händen eines bekannten Akteurs, sondern um eine neue Kategorie von Akteuren, denen die Eigenschaften fehlen, die Akteure greifbar machen: Beständigkeit, Identität, Kontinuität, Absicht. Die gesamte Disziplin der adversarischen Sicherheit geht von einem Gegner aus. Wir werden uns intensiv damit auseinandersetzen müssen, was es bedeutet, sich gegen Verhaltensweisen zu verteidigen, die ohne einen solchen Gegner entstehen.
Die Vorfallberichte sind da, und sie häufen sich mittlerweile ziemlich schnell an.
