Aus einer routinemäßigen Modellbewertung wurde ein vollständiger Kompromittierung der Infrastruktur, und niemand hatte die Kontrolle darüber. Das hätten wir uns vor ein paar Monaten noch nicht vorstellen können. Nun, da immer mehr KI-Agenten unkontrolliert ihr Unwesen treiben, scheint dies allmählich zur Normalität zu werden.
Auf X mangelt es nicht an kontroversen Meinungen darüber, warum so etwas immer wieder passiert (Geht es nur um die Glaubwürdigkeit in der Öffentlichkeitsarbeit? Oder sollten wir uns vor dem fürchten, was noch auf uns zukommt?). Was unsere Aufmerksamkeit über diese beiden Sichtweisen hinaus geweckt hat, ist die Frage, inwieweit Verteidiger bereits von Modellen abhängig sind, über die sie keine Kontrolle haben.
Auf der Black Hat beschrieben die Forscher von OpenAI selbst, wie sich der Vorfall tatsächlich zugetragen hatte. Es begann damit, dass Agenten, die bei unlösbaren Aufgaben feststeckten, begannen, sich gegenseitig Notizen in einem gemeinsamen Paketmanager zu hinterlassen – dem einzigen Teil der Infrastruktur, auf den jeder Modelllauf zugreifen konnte, obwohl die Agenten ansonsten in einer Sandbox ohne Internetzugang eingeschlossen waren. Andere festgefahrene Agenten stießen zufällig auf diese Notizen, und so entstand ein Message-Board. Eine dieser Nachrichten entpuppte sich als Möglichkeit, die Sandbox-Umgebung vollständig zu umgehen, und jedes Modell, das sie las, konnte sie ebenfalls nutzen.
In der letzten Phase gelang es den Agenten, innerhalb von weniger als 13 Stunden von der Codeausführung auf einem einzelnen Datensatz-Worker-Pod in der Produktionsinfrastruktur von Hugging Face zum Cluster-Administrator für mehrere Hugging-Face-Cluster zu wechseln.
Um das einmal ins rechte Licht zu rücken: Ein menschliches „Red Team“ würde für diese Arbeit wahrscheinlich Wochen gezielter Bemühungen benötigen, doch all dies geschah als unbeabsichtigter, zufälliger Nebeneffekt. Es ist ein bisschen so, als würde man in einer GTA-Mission ein Auto ausliefern, dabei aber irgendwo unterwegs einen Panzer stehlen, eine Verfolgungsjagd mit der Polizei auslösen und schließlich stadtweites Chaos anrichten.
Warum Sie einen Plan B für Ihren KI-Anbieter brauchen
Noch aufschlussreicher ist jedoch, was der OpenAI-Forscher Eric Wallace auf der Bühne sagte:
„Das Endziel, das wir als Branche erreichen wollen, besteht darin, dass Verbesserungen der Modellintelligenz für die Verteidigung einen größeren Nutzen bringen sollten als für den Angriff. Wenn wir dieses Endziel nicht erreichen können, kommt jede Steigerung der Intelligenz dem Angreifer zugute, und das ist eine untragbare Situation.“
Er forderte die Akteure der Branche auf, dieses spezielle Problem als dringliche Angelegenheit anzugehen (denn das ist es!). Wenn die Branche es nicht löst, verschiebt sich das Kräfteverhältnis weiter zugunsten der Angreifer und nicht zugunsten der Verteidiger.
Und doch scheint es, als wäre jede Woche ein weiterer KI-Agent auf freiem Fuß und greife eine weitere Organisation an. Die Lösung dieses Problems geht über die technischen Details der Sandbox und des Sicherheitsrahmens hinaus. Die eigentliche Frage ist, wem ein Unternehmen oder eine Regierungsbehörde tatsächlich vertrauen kann. Die Sperrung von „Fable“ durch Anthropic ist ein gutes Beispiel dafür: Über Nacht wurde eines der Tools eines der renommiertesten Anbieter von KI-Modellen aus allen Teams entfernt, die darauf angewiesen waren.
Alex Stamos, Chief Security Officer bei Corridor.dev, erklärte dazu: „Dies hat deutlich gemacht, dass man sich nicht auf die amerikanische KI-Infrastruktur verlassen kann, da jederzeit eine ungeschriebene, willkürliche und rechtlich zweifelhafte Begründung herangezogen werden könnte, um einem diese Infrastruktur unter den Füßen wegzuziehen.“
Dies bot eine Chance für wettbewerbsfähige Modelle aus China, darunter auch Modelle mit offenem Gewicht. Kimi gab OpenAI und Anthropic eine deutliche Warnung vor dem, was als Nächstes mit einer Leistung im Stil von Fable zu erwarten sei.
Selbst nachdem die Sperre für „Fable“ aufgehoben worden war, verschärfte die von Anthropic eingeführte neue Version das Problem durch neue Sicherheitsvorkehrungen. Als OpenAI-Agenten Hugging Face angriffen, versuchte letzteres, Anthropics „Fable“ und „Opus 4.8“ für die Untersuchung zu nutzen. Beide verfügten jedoch über strenge Cybersicherheitsmaßnahmen, die ihre Anfragen blockierten. Daher richteten sie stattdessen „GLM 5.2“, ein Modell mit offenen Gewichten, ein, um ihre Trace-Analyse auf ihrer eigenen Hardware durchzuführen.
Damit will ich sagen: Nur weil die US-Modelle die bekanntesten und leistungsstärksten sind (auch wenn Modelle wie der Kimi K3 aufholen) und daher derzeit verfügbar sind, heißt das noch lange nicht, dass sie immer verfügbar sein werden. Man sollte sie nutzen, dabei aber bedenken, dass es zu Problemen kommen kann, wenn es keinen Plan B gibt, falls sich die Rahmenbedingungen nach dem Zeitplan eines anderen ändern.
Wie sollte also die Antwort der Branche auf dieses Problem lauten?
Laut Wallace von OpenAI ist eine der dringendsten Herausforderungen, die die Branche nun angehen muss, das „kontinuierliche agentische Red-Teaming“:
„Es ist notwendig, in KI-gestützte Red-Team-Maßnahmen zu investieren, die es den Verteidigern ermöglichen, Schwachstellen zu erkennen und zu beheben, bevor Angreifer dies tun.“
Er wies jedoch darauf hin, dass dieser Kreislauf vollständig automatisiert sein müsse – von der Erkennung von Schwachstellen bis hin zur Installation von Patches und der Behebung der Probleme.
Stamos wies darauf hin, dass Open-Weight-Modelle ein wichtiger Motor für Innovation und Wirtschaft sein werden. Neben der Kosteneffizienz nennt er die Datenhoheit als wesentlichen Vorteil für die wachsende Zahl von Rechtsordnungen und Unternehmen, die ihren Code oder ihre Daten nicht in eine US-amerikanische Cloud übertragen dürfen. Darüber hinaus sagt er:
„Es besteht ein echter, berechtigter Bedarf an schnellen, lokal installierten Modellen, die auch offline laufen können.“
Führt man diese drei Punkte zusammen, wird die Antwort der Branche auf Wallaces eigene Warnung deutlich: eine Verteidigung, die kontinuierlich funktioniert, auf Modellen, die dies erschwinglich machen, und auf einer Infrastruktur, die Ihnen niemand wegnehmen kann.
Wo das uns nun hinführt
Wenn Sie keine Kontrolle über Ihre Sicherheitsinfrastruktur haben, sind Sie darauf angewiesen, dass jemand anderes entscheidet, ob diese für Sie verfügbar bleibt. Der Hackerangriff auf Hugging Face hat gezeigt, wie weit ein Angriff eskalieren kann, sobald niemand mehr den nächsten Schritt genehmigen muss. Stamos’ Schilderung der Fable-Sperrung verdeutlichte dasselbe Problem aus einer anderen Perspektive: Die Tools eines vertrauenswürdigen Anbieters standen den Teams, die darauf angewiesen waren, plötzlich nicht mehr zur Verfügung – aus Gründen, die nichts damit zu tun hatten, ob diese Tools tatsächlich funktionierten.
Die Integration von KI-Agenten in die eigene Infrastruktur löst dieses Problem jedoch nicht von selbst. Ein nicht eingeschränkter Agent wird jede Tür ausprobieren, die er erreichen kann – ganz gleich, ob er in Ihrem Netzwerk oder in der Cloud eines anderen Betreibers läuft. Die Verlagerung auf die eigene Hardware hilft nur, wenn das System selbst verhindert, dass der Agent umherirrt. Die Tests müssen kontinuierlich auf einer Infrastruktur laufen, die Ihnen tatsächlich gehört. Und die Agenten, die diese Tests durchführen, benötigen Grenzen, die vom System selbst durchgesetzt werden.
Wenn Ihr Team das braucht, wofür in diesem Artikel plädiert wurde, Aikido dann läuft „Machine“ läuft vollständig in Ihren eigenen Räumlichkeiten, mit optionalem Zugriff auf Ihren Code (Whitebox/Blackbox), und kann vollständig isoliert betrieben werden, wenn überhaupt keine Daten das Gebäude verlassen dürfen. Es folgt demselben Ansatz zur Durchsetzung von Zugriffsbereichen, den wir für „ Aikido Attack“entwickelt haben: Eine in das System integrierte Eindämmung, anstatt diese allein den Anweisungen zu überlassen. Bei „ Aikido Machine“ erstreckt sich diese Eindämmung auch auf die Netzwerkschicht. Zwei europäische Banken setzen die Lösung bereits ein. Buchen Sie hier eine technische Informationsveranstaltung.
