Was versteht man unter AI-Harness-Engineering?

Unter „Harness-Engineering“ versteht man die Entwicklung der Ebene – einschließlich des Codes –, die ein KI-Modell von einem Textgenerator in einen Agenten verwandelt, der Handlungen ausführen kann. Kurz gesagt: Ein KI-Agent besteht aus einem Modell und einem Harness. Das Modell entscheidet, was als Nächstes zu tun ist, und der Harness setzt dies um, indem er das Modell mit Tools, Kontext, externen Systemen und Validierungsmechanismen verbindet. In vielen praktischen Anwendungsfällen, insbesondere im Bereich der Sicherheit, bestimmt das Harness die Qualität der Ausgabe stärker als die Wahl des Modells.

Was ist ein Gurtzeug?

Ein „Harness“ ist die Koordinationsschicht, die ein Modell oder mehrere Modelle gleichzeitig umgibt. Er besteht aus Code, Workflow-Logik, Prompt-Design und Validierung, die zusammenwirken, wobei das Modell als eine von mehreren Komponenten darin eingebettet ist. Der „Harness“ enthält die Logik, die entscheidet, welches Modell wann ausgeführt wird, welchen Kontext jedes Modell sieht, wie die Ergebnisse überprüft werden und wann auf ein leistungsfähigeres Modell zurückgegriffen werden soll.

​

Im einfachsten Fall ist ein „Harness“ eine kurze Code-Schleife:

• Das Modell aufrufen
• Das Modell fordert ein Werkzeug an
• Harness führt das Tool aus und gibt das Ergebnis zurück
• Wiederholen Sie den Vorgang, bis die gewünschten Ergebnisse erzielt sind.

​

Da Kabelbäume immer komplexer werden, kommen darin häufig einige der folgenden Muster zum Einsatz:

• Befehlskette: Aufeinanderfolgende Schritte mit dazwischenliegenden Überprüfungen für eine Aufgabe, die sich in einer festgelegten Reihenfolge unterteilen lässt.
• Routing: Ein Klassifikator leitet jede Eingabe an einen spezialisierten Handler weiter und übergibt einfache Abfragen an ein kostengünstigeres Modell, während die schwierigen Abfragen einem leistungsstärkeren Modell vorbehalten bleiben.
• Parallelisierung: Entweder die Aufteilung einer Aufgabe in unabhängige Teile oder die mehrfache Ausführung derselben Aufgabe und die Zusammenfassung der Ergebnisse.
• Orchestrator-Worker: Ein zentrales Modell teilt den Auftrag dynamisch auf und delegiert ihn – für Aufgaben, bei denen sich die Teilaufgaben nicht im Voraus vorhersagen lassen.
• Evaluator-Optimierer: Ein Modell generiert, während ein anderes in einer Schleife bewertet, bis die Ausgabe die Anforderungen erfüllt.

​

Das Harness ist zudem häufig für die Verdichtung verantwortlich – einen Prozess, bei dem lange Konversationsverläufe oder Transkripte komprimiert werden, indem ältere Nachrichten zu einem kompakten Textblock zusammengefasst werden. Die korrekte Verwaltung des Kontextfensters eines LLM hat zudem einen großen Einfluss auf die Qualität und Sicherheit der Ausgabe, was das neue Trendthema „Context Engineering“ hervorgebracht hat (auf das wir jedoch ein anderes Mal eingehen werden). 

Warum man überhaupt einen Klettergurt braucht

Wenn Sie zwischen verschiedenen Modellen wählen, optimieren Sie dabei nur eine Variable. Frontier-Modelle haben einen solchen Reifegrad erreicht, dass der Abstand zwischen den besten Modellen bei Standard-Coding-Benchmarks relativ gering ist. Wenn Sie dasselbe Modell jedoch in ein schwaches statt in ein starkes Framework einbinden, ist der Unterschied hinsichtlich der tatsächlich erzielbaren Ergebnisse groß. In vielen Fällen hat die Gestaltung des Frameworks einen größeren Einfluss auf die Qualität der Ergebnisse als das Modell selbst.

Wenn man sich weniger auf ein bestimmtes Modell verlässt, kann man sich besser an veränderte Zeiten anpassen. Frontier-Modelle stehen in letzter Zeit besonders unter Beobachtung und verlieren bei manchen an Beliebtheit. Beim Vorfall zwischen Hugging Face und OpenAI im Juli 2026 griff ein Frontier-Modell ein Unternehmen an, doch zur Verteidigung konnte kein Frontier-Modell eingesetzt werden, da diese Modelle Aufgaben im Bereich der Cybersicherheit regelmäßig blockieren. Hugging Face musste für seine Reaktion auf den Vorfall ein chinesisches Modell mit offenen Gewichten einsetzen (Modelle mit offenen Gewichten schneiden derzeit glücklicherweiserecht gut ab ). Es ist auf Dauer keine tragfähige Strategie, von der Weigerung der Modelle abhängig zu sein.

Selbst ein leistungsfähiges Modell kann diese Aufgabe nicht eigenständig bewältigen. Wenn Sie selbst das „beste“ Modell in einem Chat-Fenster bitten, Schwachstellen in einem Repository zu finden, stoßen Sie ziemlich schnell an Grenzen. Zum einen passt die Codebasis nicht in seinen Kontext, und selbst bei den Teilen, die es sieht, kann es Zusammenhänge zwischen den Dateien nicht wirklich herstellen. Und natürlich fallen die Ergebnisse jedes Mal anders aus, da sie nicht deterministisch sind. Um Schwachstellen effektiv zu finden, muss ein Test-Harness eine Schleife ausführen und die Rückmeldungen überprüfen. In unseren Benchmarks der neuesten KI-Modelle zeigen wir, warum der Test-Harness bei der Suche nach Schwachstellen im Code so wichtig ist und wie eine Erreichbarkeitsprüfung und eine Validierungsphase den Unterschied zwischen einer Ansammlung von „Vielleicht“-Ergebnissen und einer Liste ausmachen, auf deren Grundlage man handeln kann.

Es gibt auch ein Kostenargument. Größere Modelle kosten pro Durchlauf mehr, und die Leistungsfähigkeit steigt nicht eins zu eins mit dem Preis. Der Einsatz mehrerer kostengünstigerer Agenten kann bei gleichem Aufwand einen teuren Agenten übertreffen, da sich die Anzahl der Agenten in eine größere Abdeckung umwandeln lässt. Ein kostengünstigeres Modell erzeugt (in der Regel) mehr Fehlalarme, sodass ein Test-Framework die zahlreichen Durchläufe verwalten und das Rauschen herausfiltern kann, wobei separate Agenten die Ergebnisse validieren und den Ballast aussortieren.

Und wenn es bei der Arbeit um sensible Themen geht, ist das Sicherheitsnetz der einzige Ort, an dem Sicherheit gewährleistet ist. Es reicht nicht aus, ein Model lediglich dazu aufzufordern, auf Sicherheit zu achten (darauf werden wir später noch näher eingehen).

Was sind einige Beispiele für KI-Anwendungen?

So gut wie jedes LLM, das als Produkt eingesetzt wird, ist in irgendeiner Form eingebunden. Ein einfaches Beispiel: Alle Programmier-Agenten, die in den letzten zwei Jahren die Arbeitsabläufe von Entwicklern übernommen haben, sind Einbindungen, die um ein „Frontier“-Modell herum aufgebaut sind.

Claude Code ist der Terminal-Agent von Anthropic. Er liest und schreibt Code ausschließlich über dieselbe oben beschriebene Schleife aus „Aufruf – Modell – Ausführung – Tool“. Die zugrunde liegende Agenten-Schleife wählt Werkzeuge aus, sammelt Kontextinformationen und verwaltet lange Sitzungen durch Komprimierung, wobei Berechtigungsmodi und Sandboxing die Sicherheitsgrenzen festlegen. Der Agentenmodus von Cursor basiert auf demselben Prinzip innerhalb eines auf VS Code aufbauenden „AI-first“-Editors, bei dem das Framework die Bearbeitung mehrerer Dateien über die IDE statt über das Terminal steuert.

Das wohl bekannteste Framework ist OpenClaw, auch wenn es mittlerweile wohl weit über ein reines Framework hinausgewachsen ist. Im Hintergrund handelt es sich um einen dauerhaft laufenden Node.js-Dienst, der ein LLM mit Ihrem Mac Mini und Messaging-Apps verbindet. Er stellt das Gateway, die Kanäle, die Kontextzusammenstellung, den persistenten Speicher, die Skills und die Schleife bereit, die alles miteinander verbindet. OpenClaw ist auch ein gewisses warnendes Beispiel dafür, dass die Sicherheit schwach ist, wenn das Framework diesbezüglich nachlässig ist und die Sandbox im Grunde nicht vorhanden ist (wir werden darauf gleich noch einmal zurückkommen).

Als detailliertes Beispiel aus der Praxis hatCloudflare seine Methode zur Schwachstellenerkennung Schritt für Schritt veröffentlicht, die entwickelt wurde, während Sicherheitsmodelle auf Dutzende der eigenen Repositorys angewendet wurden. Die einzelnen Schritte vermitteln einen guten Eindruck davon, was ein ausgereiftes Tool alles leistet, insbesondere im Sicherheitskontext. Unser eigenes Tool unter Aikido funktioniert auf hoher Ebene ähnlich: Es durchsucht eine Codebasis nach möglichen Einstiegspunkten, erstellt eine Rangliste der verdächtigen Abläufe, die untersucht werden sollen, geht jeden einzelnen davon eingehend durch und wertet anschließend die Ergebnisse aus.

Die Rolle des Sicherheitsgurts für die Sicherheit und den Schutz im Bereich der KI

Im Zusammenhang mit der Sicherheit trägt der „Harness“ auch teilweise dazu bei, das Modell in Schach zu halten und es innerhalb der von Ihnen festgelegten Grenzen zu halten, wenn es vom Kurs abweicht oder durch etwas in seinen Eingaben davon abgebracht wird. Er hält die weichen Grenzen aufrecht, und diese bleiben bestehen, solange sich Ihre Orchestrierung so verhält, wie Sie sie aufgebaut haben. 

Sicherheitsvorkehrungen wie Scope und Logging müssen Teil der Tool-Ebene sein, die der Code steuert. Da LLMs nicht deterministisch und daher unvorhersehbar sind, können selbst die kühnsten Versuche, sie allein mit Prompts zu kontrollieren, keine Sicherheit garantieren. Prompt-Injection ist eines der größten Probleme bei dem Versuch, LLMs mit Prompts zu kontrollieren, da jede von einem Angreifer kontrollierte Eingabe, die in den Kontext gelangt, das LLM bei ausreichender Überzeugungskraft manipulieren kann.

Zu den Sicherheitsmaßnahmen, die der Sicherheitsgurt abdeckt, gehören:

• Gültigkeitsbereichskontrolle: Regeln darüber, was zulässig ist – beispielsweise, auf welche Domänen, Hosts oder Repos ein Agent zugreifen darf – und die Verweigerung von Aktionen außerhalb dieses Bereichs. In einem Test-Harness sieht dies wie eine Zulassungsliste aus, die vor dem Ausführen eines Tools den Code überprüft, sowie wie Anweisungen zum Gültigkeitsbereich in der Eingabeaufforderung.
• Tool-Vermittlung: Der Harness legt fest, welche Tools vorhanden sind, welche Argumente zulässig sind und ob ein bestimmter Aufruf ausgeführt werden darf. Das Modell kann lediglich ein Tool anfordern, und der Harness-Code entscheidet, ob dieses ausgeführt wird.
• Kontext- und Eingabeverarbeitung: Maßnahmen zum Schutz vor Prompt-Injektionen und nicht vertrauenswürdigen Inhalten, wie beispielsweise das Entfernen oder die Quarantäne externer Daten, die Einschränkung der vom Modell gelesenen Inhalte sowie der Verzicht darauf, dem Modell Inhalte aus dem offenen Internet zuzuführen, aus denen es Anweisungen ableiten könnte.
• Validierung und Verifizierung: Unabhängige Überprüfungen der vom Modell erzeugten Ergebnisse, beispielsweise durch einen zweiten Agenten, der versucht, ein Ergebnis zu widerlegen, eine Erreichbarkeitsprüfung oder eine Schema-Validierung der Ausgabe. Dadurch werden Rauschen und Halluzinationen erkannt.
• Eskalations- und Weiterleitungslogik: Regeln dafür, wann eine Aufgabe an ein leistungsfähigeres Modell weitergeleitet werden soll, wann ein Mensch hinzugezogen werden muss und wann der Vorgang beendet werden soll. Auch Circuit-Breaker und Abbruchbedingungen sind hier definiert.
• Protokollierung und Überwachbarkeit: Jede Anfrage und jede Aktion wird aufgezeichnet , sodass ein Durchlauf live verfolgt, angehalten oder überprüft werden kann. Diese Kontrollmöglichkeit ermöglicht es Ihnen, bei Bedarf einzugreifen.
• Raten- und Ressourcenmanagement auf App-Ebene: Ratenbegrenzung und Lastüberwachung, damit Agenten ein Ziel nicht überlasten oder die Kosten aus dem Ruder laufen lassen.

In einigen Fällen befinden sich Agenten in einer Sandbox, in der Regel dann, wenn der Agent mit Live-Systemen interagiert oder Shell-Befehle ausführen darf. Die Sandbox ist die „ container “, in der das gesamte Testumgebung läuft und die für die strenge Durchsetzung der Sicherheitsmaßnahmen zuständig ist. Dazu gehören die Isolierung des Betriebssystems, die Netzwerkeinschränkungen, die Ressourcenbeschränkungen sowie die Trennung von Ihrer internen Infrastruktur. Da diese Grenzen durch die Umgebung durchgesetzt werden, kann das Modell sie nicht überschreiten, ganz gleich, welche Aktionen es ausführt. 

Interessante Tatsache: Man kann Sandboxen auch innerhalb des Harness-Systems verschachteln. Wenn der Harness dem Modell ein Tool zur Verfügung stellt, das Befehle ausführt, können diese Befehle in einer eigenen, separaten Sandbox ausgeführt werden, sodass eine risikobehaftete Funktion eine eigene, strenge Abgrenzung erhält, ohne den Rest des Systems zu beeinträchtigen.

KI sorgt für Sicherheit in der realen Welt

Zwei aktuelle Fälle zeigen auf unterschiedliche Weise, was passiert, wenn diese Grenzen versagen. OpenClaw verdeutlicht, was geschieht, wenn eine klare Grenze gänzlich fehlt. Der Vorfall zwischen Hugging Face und OpenAI zeigt, was passiert, wenn eine solche Grenze zwar vorhanden ist, aber überschritten wird.

OpenClaw zeigt, wie sich dies auswirkt, wenn die Entscheidung über die Ebenen dem Benutzer überlassen bleibt. Es wird mit den Harness-Steuerelementen ausgeliefert, behandelt die Sandbox jedoch als optionales Feature, und standardmäßig läuft die Hauptsitzung direkt auf dem Host-Rechner mit vollem Zugriff auf dessen Anmeldedaten und Dateien. Die Sandbox-Umgebung deckt nur die Sitzungen ab, für die sie konfiguriert ist, und selbst dann sind einige Tools so gekennzeichnet, dass sie ohnehin auf dem Host ausgeführt werden. Die gängige Vorgehensweise beim Betrieb von OpenClaw ist also ein leistungsfähiges Harness-System mit weichen Sicherheitsbarrieren und ohne harte Grenzen im Hintergrund – genau diese Konfiguration liegt den schlimmsten Vorfällen zugrunde. Ein Harness-System ohne Sandbox ist nur so sicher, wie es seine weichen Sicherheitsbarrieren zulassen, und bei einem nicht-deterministischen Modell halten diese nicht immer stand.

Der bereits erwähnte Vorfall zwischen Hugging Face und OpenAI ist ein hervorragendes (oder auch nicht ganz so hervorragendes) Beispiel dafür, dass die Infrastruktur rund um ein leistungsstarkes Modell die Sicherheit nicht gewährleisten kann. OpenAI gab bekannt, dass seine eigenen Modelle während eines internen Benchmark-Laufs aus der Test-Sandbox ausbrachen und in die Produktionssysteme von Hugging Face gelangten, um die Benchmark-Ergebnisse abzurufen.

Der Vorfall zeigt, was passiert, wenn sowohl das eigene Urteilsvermögen des Modells als auch das umgebende System gleichzeitig beeinträchtigt sind. Das Modell von OpenAI war mit deaktivierten „Cyber Refusals“ gelaufen – das heißt, das Modell oder die Agenten weigern sich, eine von Ihnen geforderte Aktion auszuführen, und stützen sich dabei auf ihr Training statt auf externe Regeln. Dies ist für die Tests, die OpenAI durchführen wollte, zwar sinnvoll, birgt jedoch auch ernsthafte Sicherheitsrisiken. Bei diesem Vorfall lag die Verantwortung für die Eindämmung dieser Agenten vollständig beim umgebenden System und nicht bei einer Eingabeaufforderung, nämlich beim „Harness“ und der „Sandbox“, und beide versagten.

Selbst OpenAI, das versucht hat, eine sichere Sandbox zu implementieren, wurde durch ein einziges anfälliges, öffentlich zugängliches Paketverwaltungssystem kompromittiert. Das ist natürlich ein extremes Beispiel, aber die Modelle werden immer intelligenter werden, und in Ihrer Sandbox müssen Sie dem Rechnung tragen. 

Die Lösung muss architektonisch und vielschichtig sein. Bewerten Sie das Risiko aller Elemente, auf die der Agent Zugriff hat. Auf diese Weise haben wir unser Sicherheitskonzept für unsere „ KI-Penetrationstests “-Agenten entwickelt. Das System trennt den Teil, der plant, Schlussfolgerungen zieht und sensible Daten speichert (die Steuerungsebene), von einer isolierten Sandbox, in der Tools ausgeführt, Browser gesteuert und Netzwerkzugriffe vorgenommen werden (die Ausführungsebene) – und zwar mithilfe strenger Netzwerkrichtlinien und entsprechender Software. 

Die Ausführungsseite hat keinen Zugriff auf Orchestrierungs secrets en oder die interne Infrastruktur, da davon ausgegangen wird, dass es bei der Ausführung zu Fehlverhalten kommen kann und der Testrahmen nicht alles abdecken kann. Hier kommt die Sandbox ins Spiel. Durch die strenge Durchsetzung werden alle Domänen blockiert, die nicht auf Netzwerkebene auf der Whitelist stehen, sodass der Agent sie nicht erreichen kann, ganz gleich, was er auch tun mag. 

KI-Anwendungen – heute und in Zukunft

Das Modell steht zwar im Mittelpunkt der Aufmerksamkeit, doch das „Harness“ leistet einen Großteil der Arbeit. Es ist das, was die Leistungsfähigkeit in die besten Ergebnisse umsetzt und zudem zahlreiche Sicherheitskontrollen verwaltet. Große Technologieunternehmen konzentrieren sich auf „Harnesses“ – sowohl für den internen Gebrauch als auch als Dienstleistung. Microsoft hat kürzlich ein „Harness“-Framework als Produkt veröffentlicht. Solange es große Sprachmodelle (LLMs) gibt, werden wir sie in „Harnesses“ einbinden, sodass diese Disziplin erst am Anfang steht. In diesem Beitrag haben wir nur an der Oberfläche gekratzt, aber Sie können Ihr Wissen über KI auf dieser großartigen Seite zum Thema Harness-Engineering weiter vertiefen.

Wählen Sie Ihr Modell sorgfältig aus, aber konzentrieren Sie sich dann vor allem auf den Gurt. Deshalb stellen wir unsere eigenen Werkzeuge her, darunter auch die von AikidoKI-Codeanalyse und KI-Penetrationstests, zunächst als Kabelbäume.

​

FAQ

Was ist ein Gurtzeug?

Ein „Harness“ ist die Koordinationsschicht, die ein oder mehrere Modelle umgibt. Er umfasst den Code, die Workflow-Logik, die Gestaltung der Eingabeaufforderungen und die Validierung – all das macht aus einem Modell einen handlungsfähigen Agenten. Dabei wird festgelegt, welcher Agent wann ausgeführt wird, welchen Kontext der jeweilige Agent sieht, wann eine Eskalation erfolgen soll und wie die Ausgabe überprüft wird.

Was ist der Unterschied zwischen dem Gurtzeug und dem Modell?

Das Modell liefert die Logik und die Sprache. Der Harness liefert alles andere: die Werkzeuge, den Speicher, die Schleife, die Validierung und einige Bereichskontrollen. Tauschen Sie das Modell aus, und der Harness bleibt bestehen. Deshalb ermöglicht Ihnen ein leistungsfähiger Harness, Modelle zu aktualisieren, ohne Ihr System neu aufsetzen zu müssen.

‍Ist die Entwicklung von Kabelbäumen eine eigenständige Disziplin?

Es ist zu einem Ganzen geworden. Da sich die Funktionen der führenden Modelle immer mehr angleichen, liegt der größte praktische Unterschied in der Leistung mittlerweile in der Orchestrierung rund um diese Modelle – weshalb Teams in die Entwicklung von Harness-Lösungen als eigenständigen Arbeitsbereich investieren.

Inwiefern spielt die Kabelbaumtechnik eine Rolle für die Sicherheit?

Im Sicherheitsbereich erfüllt das System zwei Aufgaben. Zum einen erhöht es die Qualität der Ergebnisse durch eine eng gefasste Abgrenzung und unabhängige Validierung durch parallel arbeitende Agenten, zum anderen schränkt es den Wirkungsbereich des Agenten durch architektonische Isolierung und die Durchsetzung von Abgrenzungen auf Netzwerkebene ein, sodass ein Agent nicht in die Produktionsumgebung gelangen oder Daten weitergeben kann.

‍Was sind Sicherheitsvorkehrungen für KI-Agenten?

Sicherheitsbarrieren sind die Einschränkungen, die einen Agenten innerhalb seines vorgesehenen Wirkungsbereichs halten – beispielsweise Sandboxing, Domänen auf der Zulassungsliste, Ratenbegrenzungen und eine strikte Trennung zwischen der Planungs- und der Ausführungsebene. Die zuverlässigen davon werden im Code und in der Infrastruktur durchgesetzt und nicht über eine Eingabeaufforderung angefordert, sodass das Modell sie nicht ignorieren oder sich darüber hinwegsetzen lassen kann.