Harness Engineering ist die Praxis, die Schicht einschließlich des Codes zu entwickeln, die ein KI-Modell von einem Textgenerator in einen Agenten verwandelt, der Aktionen ausführen kann. Kurz gesagt: Ein KI-Agent ist ein Modell plus ein Harness. Das Modell entscheidet, was als Nächstes zu tun ist, und das Harness setzt es um, indem es das Modell mit Tools, Kontext, externen Systemen und Validierung verbindet. Bei vielen praktischen Aufgaben – insbesondere im Sicherheitsbereich – bestimmt das Harness die Qualität des Ergebnisses stärker als die Wahl des Modells.
Was ist ein Harness?
Ein Harness ist die Orchestrierungsschicht um ein Modell oder um mehrere Modelle gleichzeitig. Es ist eine Kombination aus Code, Workflow-Logik, Prompt-Design und Validierung, bei der das Modell als eine Komponente unter mehreren integriert ist. Das Harness enthält die Logik, die entscheidet, welches Modell wann ausgeführt wird, welchen Kontext jedes Modell sieht, wie Ergebnisse überprüft werden und wann auf ein leistungsstärkeres Modell eskaliert wird.
Ganz einfach ausgedrückt ist ein Harness eine kurze Code-Schleife:
- Modell aufrufen
- Modell fordert ein Tool an
- Harness führt das Tool aus und gibt das Ergebnis zurück
- Wiederholen, bis die finalen Ergebnisse vorliegen
Mit zunehmender Komplexität von Harnesses kommen häufig die folgenden Muster zum Einsatz:
- Prompt Chaining: Sequenzielle Schritte mit Überprüfungen dazwischen für Aufgaben, die sich in einer festgelegten Reihenfolge zerlegen lassen.
- Routing: Ein Klassifikator leitet jede Eingabe an einen spezialisierten Handler weiter. Dabei werden einfache Abfragen an ein günstigeres Modell geschickt, während schwierige für ein stärkeres Modell reserviert bleiben.
- Parallelisierung: Entweder wird eine Aufgabe in unabhängige Teile aufgeteilt oder dieselbe Aufgabe wird mehrmals ausgeführt und die Stimmen werden aggregiert.
- Orchestrator-Worker: Ein zentrales Modell teilt den Job im laufenden Betrieb auf und delegiert ihn, wenn sich die Unteraufgaben im Voraus nicht vorhersagen lassen.
- Evaluator-Optimizer: Ein Modell generiert, während ein anderes in einer Schleife so lange Kritik übt, bis die Ausgabe den Test besteht.
Das Harness ist häufig auch für die Komprimierung verantwortlich – den Prozess, der lange Gesprächsverläufe oder Transkripte durch das Zusammenfassen älterer Nachrichten in einen dichten Textblock kondensiert. Die korrekte Verwaltung des Kontextfensters eines LLMs hat zudem enorme Auswirkungen auf die Ausgabequalität und -sicherheit, weshalb das neue Trendthema des Context Engineering entstanden ist (das wir auf ein anderes Mal verschieben).
Warum Sie überhaupt ein Harness benötigen
Wenn Sie sich zwischen Modellen entscheiden, optimieren Sie nur eine einzige Variable. Frontier-Modelle haben sich mittlerweile so weit angenähert, dass der Abstand zwischen den Spitzenmodellen bei Standard-Coding-Benchmarks relativ gering ist. Wenn Sie dasselbe Modell jedoch in ein schwaches anstatt in ein starkes Harness einbetten, fällt der Unterschied bei dem, was es tatsächlich finden kann, beträchtlich aus. In vielen Fällen hat das Design des Harness einen größeren Einfluss auf die Ausgabequalität als das Modell.
Wenn Sie weniger von einem bestimmten Modell abhängig sind, können Sie sich besser an veränderte Zeiten anpassen. Frontier-Modelle stehen in letzter Zeit vermehrt unter Beobachtung und verlieren bei einigen an Beliebtheit. Beim Hugging Face-OpenAI-Vorfall im Juli 2026 griff ein Frontier-Modell ein Unternehmen an, das sich jedoch nicht mit einem Frontier-Modell verteidigen konnte, da Frontier-Modelle cybersecurity-bezogene Aufgaben regelmäßig blockieren. Hugging Face musste für seine Incident Response auf ein chinesisches Modell mit offenen Gewichten zurückgreifen (Open-Weight-Modelle schneiden glücklicherweise heutzutage ziemlich gut ab). Sich der Willkür von Modellverweigerungen auszuliefern, ist kein zukunftsfähiger Plan.
Ein leistungsfähiges Modell kann den Job zudem nicht eigenständig ausführen. Selbst wenn Sie das „beste“ Modell in einem Chat-Fenster bitten, die Schwachstellen in einem Repository zu finden, stoßen Sie sehr schnell an Grenzen. Zum einen passt die Codebasis nicht in dessen Kontext, und selbst die Teile, die es sieht, kann es über Dateien hinweg nicht wirklich miteinander verknüpfen. Und natürlich fallen die Ergebnisse jedes Mal anders aus, da sie nicht-deterministisch sind. Um Schwachstellen effektiv zu finden, muss ein Harness eine Schleife aufrechterhalten und die Rückgabewerte überprüfen. In unseren Benchmarks der neuesten KI-Modelle zeigen wir, warum das Harness beim Aufspüren von Schwachstellen im Code so wichtig ist und wie eine Erreichbarkeitsprüfung sowie eine Validierungsphase einen Haufen an Vermutungen von einer umsetzbaren Liste trennen.
Es gibt auch ein Kostenargument. Größere Modelle kosten pro Durchlauf mehr, und die Leistungsfähigkeit skaliert nicht 1:1 mit dem Preis. Mehrere günstigere Agenten auszuführen kann bei gleichem Budget einen teuren Agenten schlagen, da Sie die Anzahl der Agenten in Abdeckung ummünzen können. Ein günstigeres Modell erzeugt (in der Regel) mehr False Positives, weshalb ein Harness die mehreren Durchläufe verwalten und das Rauschen herausfiltern kann, während separate Agenten die Funde validieren und den Müll aussortieren.
Und wenn die Arbeit sensible Bereiche berührt, ist das Harness der einzige Ort, an dem Sicherheit gewährleistet werden kann. Ein Modell lediglich per Prompt zu mehr Sicherheit aufzufordern, reicht nicht aus (darauf gehen wir später noch ein).
Was sind einige Beispiele für KI-Harnesses?
So gut wie jedes LLM, das als Produkt eingesetzt wird, läuft in irgendeinem Harness. Ein einfaches Beispiel: all die Coding-Agenten, die in den letzten zwei Jahren die Entwickelnden-Workflows übernommen haben, sind Harnesses, die ein Frontier-Modell umgeben.
Claude Code ist der Terminal-Agent von Anthropic. Er liest und schreibt Code vollständig über dieselbe Aufrufen-Modell-Ausführen-Tool-Schleife wie oben beschrieben. Die zugrundeliegende Agentenschleife wählt Tools aus, sammelt Kontext an und verwaltet lange Sitzungen durch Komprimierung, wobei Berechtigungsmodi und Sandboxing die Sicherheitsgrenzen definieren. Der Agent-Modus von Cursor verfolgt dieselbe Idee in einem KI-First-Editor auf Basis von VS Code, wobei das Harness die Bearbeitung mehrerer Dateien von der IDE aus anstelle des Terminals steuert.
Das bekannteste Harness dürfte OpenClaw sein, obwohl es sich inzwischen wohl über ein reines Harness hinausentwickelt hat. Unter der Haube handelt es sich um einen langlebigen Node.js-Dienst, der ein LLM mit Ihrem Mac Mini und Messaging-Apps verbindet. Es stellt das Gateway, die Kanäle, die Kontextzusammenstellung, den persistenten Speicher, die Skills und die Schleife bereit, die diese Komponenten miteinander verknüpft. OpenClaw ist gleichzeitig ein warnendes Beispiel dafür, wie schwach die Sicherheit sein kann, wenn das Harness diesbezüglich lax agiert und die Sandbox praktisch nicht vorhanden ist (wir kommen gleich darauf zurück).
Als detailliertes Praxisbeispiel hat Cloudflare sein Harness zur Schwachstellenerkennung Schritt für Schritt veröffentlicht, das entwickelt wurde, während Sicherheitsmodelle auf Dutzende eigener Repositories angesetzt wurden. Die Phasen vermitteln einen guten Eindruck davon, was ein ausgereiftes Harness alles leistet, insbesondere im Sicherheitskontext. Unser eigenes Harness bei Aikido sieht auf hoher Ebene ähnlich aus – es durchsucht eine Codebasis nach potenziellen Einstiegspunkten, priorisiert verdächtige Abläufe, untersucht jeden einzelnen davon im Detail und triagiert anschließend die Ergebnisse.
Die Rolle des Harness bei KI-Sicherheit und -Protection
Im Zusammenhang mit der Sicherheit trägt der „Harness“ auch teilweise dazu bei, das Modell in Schach zu halten und es innerhalb der von Ihnen festgelegten Grenzen zu halten, wenn es vom Kurs abweicht oder durch etwas in seinen Eingaben davon abgebracht wird. Er hält die weichen Grenzen aufrecht, und diese bleiben bestehen, solange sich Ihre Orchestrierung so verhält, wie Sie sie aufgebaut haben.
Sicherheitsvorkehrungen wie Scope und Logging müssen Teil der Tool-Ebene sein, die der Code steuert. Da LLMs nicht deterministisch und daher unvorhersehbar sind, können selbst die kühnsten Versuche, sie allein mit Prompts zu kontrollieren, keine Sicherheit garantieren. Prompt-Injection ist eines der größten Probleme bei dem Versuch, LLMs mit Prompts zu kontrollieren, da jede von einem Angreifer kontrollierte Eingabe, die in den Kontext gelangt, das LLM bei ausreichender Überzeugungskraft manipulieren kann.
Zu den Sicherheitsmaßnahmen, die der Sicherheitsgurt abdeckt, gehören:
- Gültigkeitsbereichskontrolle: Regeln darüber, was zulässig ist – beispielsweise, auf welche Domänen, Hosts oder Repos ein Agent zugreifen darf – und die Verweigerung von Aktionen außerhalb dieses Bereichs. In einem Test-Harness sieht dies wie eine Zulassungsliste aus, die vor dem Ausführen eines Tools den Code überprüft, sowie wie Anweisungen zum Gültigkeitsbereich in der Eingabeaufforderung.
- Tool-Vermittlung: Der Harness legt fest, welche Tools vorhanden sind, welche Argumente zulässig sind und ob ein bestimmter Aufruf ausgeführt werden darf. Das Modell kann lediglich ein Tool anfordern, und der Harness-Code entscheidet, ob dieses ausgeführt wird.
- Kontext- und Eingabeverarbeitung: Kontrollen gegen Prompt Injection und nicht vertrauenswürdige Inhalte, wie das Bereinigen oder Unterquarantänesetzen externer Daten, das Einschränken der vom Modell gelesenen Informationen und das Vermeiden von Inhalten aus dem offenen Internet, von denen es Anweisungen ableiten könnte.
- Validierung und Verifizierung: Unabhängige Prüfungen der Modellergebnisse, wie etwa ein zweiter Agent, der versucht, einen Befund zu widerlegen, eine Erreichbarkeitsprüfung oder eine Schema-Validierung der Ausgabe. Dies fängt Rauschen und Halluzinationen ab.
- Eskalations- und Routing-Logik: Regeln dafür, wann eine Aufgabe an ein stärkeres Modell übergeben wird, wann ein Mensch erforderlich ist und wann gestoppt werden muss. Auch Schutzschalter (Circuit-Breaker) und Stoppbedingungen sind hier angesiedelt.
- Protokollierung und Observability: Aufzeichnung jeder Anfrage und Aktion, damit ein Lauf live überwacht, pausiert oder auditiert werden kann. Diese Kontrollfunktion ermöglicht ein Eingreifen bei Bedarf.
- Raten- und Ressourcenmanagement auf App-Ebene: Ratenbegrenzung und Lastbewusstsein, damit Agenten ein Ziel nicht überlasten oder unkontrolliert Kosten verursachen.
In einigen Fällen befinden sich Agenten in einer Sandbox – meist dann, wenn der Agent mit Live-Systemen interagiert oder Shell-Befehle ausführen darf. Die Sandbox ist der Container, in dem das gesamte Harness läuft, und setzt die strengen Sicherheitsvorgaben durch. Dazu gehören die Betriebssystemisolierung, Netzwerkeinschränkungen, Ressourcenlimits und die Trennung von Ihrer internen Infrastruktur. Da diese Grenzen durch die Umgebung erzwungen werden, kann das Modell sie nicht überschreiten, egal wie es sich entscheidet.
Wissenswertes: Sie können Sandboxes auch innerhalb des Harness verschachteln. Wenn das Harness dem Modell ein Tool zur Verfügung stellt, das Befehle ausführt, können diese Befehle in einer eigenen, separaten Sandbox laufen. So erhält eine risikoreiche Funktion eine eigene harte Grenze, ohne den Rest des Systems zu verwässern.
Sicherheit von KI-Harnesses in der realen Welt
Zwei aktuelle Fälle zeigen auf unterschiedliche Weise, was passiert, wenn diese Grenzen versagen. OpenClaw zeigt, was geschieht, wenn die harte Grenze schlicht fehlt. Der Vorfall bei Hugging Face und OpenAI zeigt, was passiert, wenn sie vorhanden ist, aber durchbrochen wird.
OpenClaw verdeutlicht, wie sich dies auswirkt, wenn die Schichten dem Benutzenden überlassen werden. Die Software liefert zwar die Harness-Kontrollen mit, betrachtet die Sandbox jedoch als optional (Opt-in). Standardmäßig läuft die Hauptsitzung direkt auf dem Host-Machine mit vollem Zugriff auf deren Anmeldeinformationen und Dateien. Das Sandboxing deckt nur Sitzungen ab, für die es konfiguriert ist, und selbst dann sind einige Tools so markiert, dass sie ohnehin auf dem Host ausgeführt werden. Die gängige Art, OpenClaw auszuführen, ist daher ein leistungsfähiges Harness mit weichen Leitplanken und ohne harte Grenze im Hintergrund – genau das Setup hinter den schlimmsten Vorfällen. Ein Harness ohne Sandbox ist nur so sicher wie seine weichen Kontrollen greifen, und gegen ein nicht-deterministisches Modell greifen diese nicht immer.
Der bereits erwähnte Vorfall zwischen Hugging Face und OpenAI ist ein hervorragendes (oder weniger hervorragendes) Beispiel dafür, wie die Infrastruktur rund um ein leistungsstarkes Modell versagt, die Sicherheit aufrechtzuerhalten. OpenAI gab bekannt, dass seine eigenen Modelle während eines internen Benchmarking-Laufs aus der Test-Sandbox ausgebrochen sind und die Produktionssysteme von Hugging Face erreicht haben, um die Benchmark-Antworten abzurufen.
Der Vorfall zeigt, was passiert, wenn sowohl das eigene Urteilsvermögen des Modells als auch das umgebende System gleichzeitig kompromittiert sind. Das Modell von OpenAI war mit deaktivierten Cyber-Ablehnungen (Refusals) gelaufen; in diesem Modus lehnen das Modell oder Agenten eine angeforderte Aktion nicht ab, sondern stützen sich auf ihr Training anstelle externer Regeln. Das ergibt für die von OpenAI angestrebten Tests Sinn, birgt jedoch auch ernsthafte Sicherheitsrisiken. In diesem Fall war ausschließlich das umgebende System – nämlich das Harness und die Sandbox – dafür verantwortlich, diese Agenten anstelle eines Prompts einzuschränken, und beide versagten.
Selbst OpenAI, die versuchten, eine sichere Sandbox zu implementieren, wurde durch ein einziges anfälliges, zugängliches Paket-Registry-System kompromittiert. Dies ist natürlich ein extrem Fall, aber Modelle werden nur noch intelligenter, und in Ihrer Sandbox müssen Sie dies berücksichtigen.
Die architektonische Antwort muss auf Design-Ebene vielschichtig sein. Bewerten Sie das Risiko von allem, worauf der Agent zugreifen kann. So haben wir unser Harness für unsere KI-Penetrationstests-Agenten aufgebaut. Das System trennt den Teil, der plant, schlussfolgert und sensible Daten verwaltet (die Control Plane), von einer isolierten Sandbox, die Tools ausführt, Browser steuert und mit dem Netzwerk interagiert (die Execution Plane), abgesichert durch strenge Netzwerkrichtlinien und Software.
Die Ausführungsseite hat keinen Zugriff auf Orchestrierungs-Secrets oder die interne Infrastruktur, da davon ausgegangen wird, dass sich die Ausführung fehlerhaft verhalten kann und das Harness nicht alles kontrollieren kann. An dieser Stelle kommt die Sandbox ins Spiel. Die harte Durchsetzung blockiert auf Netzebene jede Domäne, die nicht auf der Allow-Liste steht, sodass der Agent sie nicht erreichen kann, egal wie er sich entscheidet.
KI-Harnesses heute und in Zukunft
Das Modell bekommt die Aufmerksamkeit, aber das Harness leistet die meiste Arbeit. Es verwandelt Fähigkeiten in die besten Ergebnisse und verwaltet gleichzeitig zahlreiche Sicherheitskontrollen. Große Technologieunternehmen konzentrieren sich auf Harnesses, sowohl für den internen Gebrauch als auch als Service. Microsoft hat kürzlich ein Harness-Framework als Produkt veröffentlicht. Solange wir LLMs nutzen, werden wir sie in Harnesses einbinden, weshalb diese Disziplin gerade erst am Anfang steht. Wir haben in diesem Beitrag nur an der Oberfläche gekratzt, aber Sie können Ihre KI-Weiterbildung auf dieser großartigen Seite zum Thema Harness Engineering fortsetzen.
Wählen Sie Ihr Modell sorgfältig aus, aber investieren Sie Ihre Hauptenergie in das Harness. Aus diesem Grund entwickeln wir unsere eigenen Tools – darunter Aikidos KI-Codeanalyse und KI-Penetrationstests – primär als Harnesses.
FAQ
Was ist ein Harness?
Ein Harness ist die Orchestrierungsschicht um ein oder mehrere Modelle herum. Es umfasst Code, Workflow-Logik, Prompt-Design und Validierung, die aus einem Modell einen handlungsfähigen Agenten machen. Es entscheidet, welcher Agent wann läuft, welchen Kontext jeder einzelne sieht, wann eskaliert wird und wie die Ausgabe überprüft wird.
Worin besteht der Unterschied zwischen dem Harness und dem Modell?
Das Modell liefert das logische Denken (Reasoning) und die Sprache. Das Harness liefert alles andere: die Tools, den Speicher, die Schleife, die Validierung und einige Bereichskontrollen (Scope Controls). Tauschen Sie das Modell aus, bleibt das Harness erhalten. Aus diesem Grund ermöglicht ein starkes Harness ein Upgrade der Modelle, ohne Ihr System neu aufbauen zu müssen.
Ist Harness Engineering eine echte Disziplin?
Das ist es mittlerweile. Da sich die Leistungsfähigkeit von Frontier-Modellen annähert, resultiert der Großteil des praktischen Unterschieds bei den Ergebnissen mittlerweile aus der Orchestrierung um sie herum. Aus diesem Grund investieren Teams in das Design von Harnesses als eigenständigen Arbeitsbereich.
Wie lässt sich Harness Engineering auf die Sicherheit anwenden?
Im Bereich der Sicherheit erfüllt das Harness zwei Aufgaben. Es erhöht die Qualität von Funden durch präzise Bereichsabgrenzung und unabhängige Validierung über parallele Agenten hinweg. Zudem schottet es den Agenten durch architektonische Isolierung und netzwerkbasierte Bereichskontrollen ab, sodass ein Agent weder in die Produktion vordringen noch Daten abgreifen kann.
Was sind KI-Agenten-Guardrails?
Guardrails sind die Beschränkungen, die einen Agenten in seinem vorgesehenen Rahmen halten – wie Sandboxing, Whitelisting von Domains, Rate-Limits und eine strikte Trennung zwischen Planungs- und Ausführungsschicht. Zuverlässige Guardrails werden in Code und Infrastruktur durchgesetzt, anstatt in einem Prompt angefordert zu werden, sodass das Modell sie weder ignorieren noch umgehen kann.
