13. August 2026

Von Hugging Face bis Fable: Dieser Sommer zeigt, dass die Kontrolle über KI wichtiger ist als Vertrauen

Eine routinemäßige Modellbewertung entwickelte sich zu einer vollständigen Infrastrukturkompromittierung, und niemand saß am Steuer. Das hätten wir uns vor ein paar Monaten noch nicht träumen lassen. Angesichts einer wachsenden Welle von KI-Agenten, die sich frei im System bewegen, beginnt sich dies nun wie der Normalzustand anzufühlen. 

Es mangelte auf X nicht an hitzigen Debatten darüber, warum dies immer wieder passiert (Ist das nur für die PR-Glaubwürdigkeit? Oder sollten wir Angst vor dem haben, was kommt?). Was uns bei beiden Geschichten am meisten auffiel, ist, was es für die Abhängigkeit bedeutet, die Verteidiger bereits von Modellen haben, die sie nicht kontrollieren. 

Auf der Black Hat beschrieben OpenAI-eigene Forscher, wie sich der Vorfall tatsächlich abspielte. Es begann damit, dass Agenten, die bei unlösbaren Aufgaben feststeckten, Notizen für einander in einem gemeinsam genutzten Paketmanager hinterließen – dem einzigen Infrastrukturelement, das jeder Modelllauf erreichen konnte, obwohl sie ansonsten ohne Internetzugang in einer Sandbox isoliert waren. Andere feststeckende Agenten stießen zufällig auf diese Notizen, und ein Message Board war entstanden. Eine dieser Nachrichten erwies sich als Möglichkeit, diese Sandbox komplett zu umgehen, und jedes Modell, das sie las, konnte sie ebenfalls nutzen.

In der finalen Phase wechselten die Agenten in weniger als 13 Stunden von der Codeausführung auf einem einzelnen Dataset-Worker-Pod in der Produktionsinfrastruktur von Hugging Face zum Cluster-Admin über mehrere Hugging-Face-Cluster hinweg. 

Um das ins Verhältnis zu setzen: Für diese Arbeit bräuchte ein menschliches Red Team wochenlangen, gezielten Aufwand, aber all dies geschah als unüberwachter, zufälliger Nebeneffekt. Es ist ein bisschen wie in einer GTA-Mission, bei der man ein Auto abliefern soll, aber unterwegs einen Panzer stiehlt, eine Verfolgungsjagd mit der Polizei beginnt und schließlich ein stadtweites Chaos auslöst. 

Warum Sie einen Plan B für Ihren KI-Anbieter brauchen

Relevanter ist jedoch, was OpenAI-Forscher Eric Wallace auf der Bühne sagte:

„Das Endziel, das wir als Branche erreichen wollen, ist, dass Verbesserungen der Modellintelligenz der Verteidigung mehr nützen als dem Angriff. Wenn wir diesen Endzustand nicht erreichen, begünstigt jede Erhöhung der Intelligenz den Angreifer, und das ist eine unhaltbare Position.“

Er forderte die Akteure der Branche auf, dieses spezielle Problem als dringende Angelegenheit anzugehen (weil es das ist!). Wenn die Branche es nicht löst, verschiebt sich das Feld weiter zugunsten der Angreifer und zulasten der Verteidiger.

Und doch scheint jede Woche ein weiterer KI-Agent frei herumzulaufen und eine andere Organisation anzugreifen. Um dies zu beheben, muss man über die technischen Details der Sandbox und des Harness hinausgehen. Die eigentliche Frage ist, wem ein Unternehmen oder eine Regierungsbehörde tatsächlich vertrauen kann. Die Aussetzung von Anthropics Fable ist ein gutes Beispiel dafür, bei dem über Nacht die Tools eines der renommierten Hauptanbieter von KI-Modellen für jedes darauf angewiesene Team entzogen wurden.

Laut Alex Stamos, Chief Security Officer bei Corridor.dev: „Dies signalisierte, dass man sich nicht auf die US-amerikanische KI-Infrastruktur verlassen kann, da diese Infrastruktur jederzeit und aus einer ungeschriebenen, launischen und rechtlich fragwürdigen Begründung heraus unter den Füßen weggezogen werden kann.“

Dies bot eine Chance für konkurrierende Modelle aus China, einschließlich Modellen mit offenen Gewichten. Kimi lieferte OpenAI und Anthropic eine deutliche Warnung darüber, was als Nächstes mit einer Leistung auf Fable-Niveau auf sie zukommt.

Auch nach der Aufhebung der Fable-Sperrung verschärfte die neue Version von Anthropic das Problem durch zusätzliche Sicherheitsvorkehrungen. Als OpenAI-Agenten Hugging Face angriffen, versuchte Letzteres, Anthropics Fable und Opus 4.8 für die Untersuchung zu nutzen. Beide verfügten jedoch über strenge Cybersicherheits-Leitplanken, die ihre Anfragen blockierten. Daher richteten sie stattdessen GLM 5.2 ein, ein Open-Weight-Modell, um ihre Trace-Analyse auf eigener Hardware durchzuführen. 

Der Kurs ist erfolgreich gescheitert – von Pedro Morales-Almazan

Das alles soll heißen: Nur weil US-Modelle derzeit am bekanntesten und leistungsfähigsten sind (auch wenn Konkurrenten wie Kimi K3 aufholen) und daher leicht zugänglich sind, bedeutet das nicht, dass sie das auch immer bleiben werden. Sie sind da, um genutzt zu werden – allerdings im Bewusstsein, dass ein Problem entsteht, wenn es keinen Plan B gibt, sobald sich die Rahmenbedingungen nach dem Zeitplan anderer Leute ändern.

Was sollte also die Antwort der Branche auf dieses Problem sein?

Laut Wallace von OpenAI ist eine der dringendsten Herausforderungen, die die Branche angehen muss, das „continuous agentic red teaming“:

„Es besteht die Notwendigkeit, in KI-Agenten-Red-Teaming zu investieren, das es Verteidigerinnen und Verteidigern ermöglicht, Schwachstellen zu finden und zu beheben, bevor Angreifende dies tun.“

Er warnte jedoch davor, dass dieser Kreislauf vollständig automatisiert sein muss – von der Erkennung von Schwachstellen bis hin zu Patching und Behebung. 

Stamos schlug vor, dass Open-Weights-Modelle ein starker Treiber für Innovationen und Unternehmen sein werden. Abgesehen von der Kosteneffizienz nannte er die Datensouveränität als bedeutenden Vorteil für die wachsende Zahl von Gerichtsbarkeiten und Unternehmen, die ihren Code oder ihre Daten nicht an eine amerikanische Cloud senden können. Darüber hinaus sagte er:

„Es gibt eine echte, legitime Nachfrage nach High-Speed-on-premise-Modellen, die getrennt vom Netz betrieben werden können.“

Wenn man diese drei Aspekte zusammenzählt, springt uns die Antwort der Branche auf Wallaces Warnung förmlich ins Gesicht: Eine Verteidigung, die kontinuierlich läuft, auf Modellen, die dies bezahlbar machen, auf einer Infrastruktur, die niemand anderes unter den Füßen wegziehen kann. 

Was das für uns bedeutet

Wer seine Sicherheitsinfrastruktur nicht selbst kontrolliert, verlässt sich auf die Entscheidung anderer, sie verfügbar zu halten. Der Sicherheitsvorfall bei Hugging Face hat gezeigt, wie weit ein Angriff eskalieren kann, wenn niemand den nächsten Schritt genehmigen muss. Stamos' Darstellung der Fable-Sperrung zeigte dasselbe Problem aus der entgegengesetzten Perspektive: Die Tools eines vertrauenswürdigen Anbieters fielen für Teams, die sich darauf verließen, aus Gründen aus, die nichts damit zu tun hatten, ob diese Tools tatsächlich funktionierten.

KI-Agenten auf der eigenen Infrastruktur einzusetzen, löst das Problem jedoch nicht von allein. Ein unkontrollierter Agent versucht jede Tür zu öffnen, die er erreichen kann – egal, ob er in Ihrem Netzwerk oder in der Cloud von jemand anderem läuft. Die Verlagerung auf die eigene Hardware hilft nur, wenn das System selbst ihn am Ausbrechen hindert. Das Testing muss kontinuierlich auf einer Infrastruktur laufen, die Ihnen tatsächlich gehört. Und die agierenden Agenten benötigen vom System selbst durchgesetzte Grenzen. 

Wenn Ihr Team das braucht, wofür dieser Artikel plädiert, läuft Aikido Machine vollständig on-premise mit optionalem Zugriff auf Ihren Code (Whitebox/Blackbox) und kann komplett air-gapped arbeiten, wenn das Gebäude nicht verlassen werden soll. Es folgt demselben Ansatz zur Geltungsbereich-Durchsetzung (Scope Enforcement), den wir für Aikido Attack entwickelt haben: eine in das System integrierte Absicherung, anstatt sich auf Anweisungen zu verlassen. Bei Aikido Machine erstreckt sich diese Absicherung auch auf die Netzwerkschicht. Zwei europäische Banken nutzen es bereits. Buchen Sie hier ein technisches Briefing.

​

4.7/5
Falschpositive Ergebnisse leid?

Probieren Sie Aikido, wie 100.000 andere.
Jetzt starten
Erhalten Sie eine personalisierte Führung

Von über 100.000 Teams vertraut

Jetzt buchen
Scannen Sie Ihre App nach IDORs und realen Angriffspfaden

Von über 100.000 Teams vertraut

Scan starten
Erfahren Sie, wie KI-Penetrationstests Ihre App testen

Von über 100.000 Teams vertraut

Testen starten
Autoren
Sooraj Shah
Content Marketing Lead
Nachrichten abonnieren
Teilen:

Kürzlich hinzugefügt

5. November 2026

Das Löschen eines durchgesickerten Schlüssels aus Ihrem Repo schützt Sie nicht

Ein auf GitHub durchgesickerter Admin-Schlüssel, der zwar innerhalb weniger Stunden gelöscht wurde, führte dennoch Monate später zu einer Sicherheitslücke bei LiteLLM. Erfahren Sie, warum die Git-Historie „ secrets “ speichert und warum Sie den Schlüssel regelmäßig wechseln müssen.
Mehr erfahren
4. November 2026

Die Cybersicherheit bis Ende 2026 überstehen

Nach Binance, LiteLLM, PHP2Shell und eMudhra finden Sie hier sechs Maßnahmen und eine Checkliste, um den Umfang des nächsten Sicherheitsvorfalls bis 2027 zu begrenzen.
Mehr erfahren
30. Oktober 2026

Binance-Hack: Wie ein kompromittierter Entwickler-Laptop zu einem Datenleck im Wert von 6,3 Milliarden Dollar führen kann

Binance gibt an, dass ein kompromittierter DevOps-Laptop möglicherweise den Auslöser für den Hackerangriff in Höhe von 6,3 Milliarden Dollar war und dass das Unternehmen seitdem weitere Einfallstore entdeckt hat. Hier erfahren Sie, wie ein einziger Laptop zu einem Dienst führen kann, über den Geld bewegt wird, und wie man die Geräte am Anfang dieser Kette schützen kann.
Mehr erfahren