Update vom 19. Juli: Seit der ursprünglichen Veröffentlichung dieses Blogs wurde Kimi K3 veröffentlicht. Wir haben es ebenfalls einem Benchmark unterzogen, und es erreichte zusammen mit GPT-5.6 die höchste Punktzahl, wobei es in den Gesamtfunktionen nur knapp dahinter lag. Weitere Informationen finden Sie im Abschnitt zu Kimi K3 am Ende.
TL;DR
- GPT-5.6 erreicht die höchste Recall-Rate mit einem Maximum von 23/26, vor grok-4.5 (20), den Claude Opus Modellen (15 bis 18) und allen anderen von uns getesteten. Das bedeutet, es kann 88,5 % der CVEs wiederentdecken.
- Die teuerste Option ist nicht erforderlich. Die günstigeren Varianten von GPT-5.6 liegen nur ein oder zwei Funde hinter dem Flaggschiff, und das zu einem Bruchteil der Kosten. Das Bündeln mehrerer Durchläufe eines Mid-Tier-Modells kann es zudem mit einem einzelnen Durchlauf eines Flaggschiffs aufnehmen.
- Modellläufe sind inkonsistent, aber durch Bündelung sind sie erfolgreich. Jeder einzelne Durchlauf übersieht Fehler, die er bei einem anderen finden würde; ein Modell mehrmals auszuführen und die Ergebnisse zu bündeln (pass@3) schlägt zuverlässig einen einzelnen Durchlauf eines stärkeren, teureren Modells.
- Open Weight holt schnell auf. GLM-5.2 entdeckt bereits 59 % des Datensatzes wieder (16/26) und liegt damit im Mittelfeld der proprietären Modelle.
Jede Einführung eines neuen Frontier-Modells geht mit demselben Cybersecurity-Anspruch einher: es findet Schwachstellen. Aber funktioniert es bei einem echten Fehler in einem echten Repository oder nur bei einem kuratierten Beispiel? Welches der Dutzend Modelle, die man wählen könnte, ist vertrauenswürdig für die Code-Überprüfung? Und da die stärksten Modelle pro Durchlauf das Zehnfache oder mehr als die günstigsten kosten, was bringt dieser Mehraufwand tatsächlich an gefundenen Fehlern?
Es ist einfach, Modelle nach ihrer reinen Leistungsfähigkeit zu ordnen und das teuerste als Gewinner zu bezeichnen, aber die wichtigere Frage ist, ob der Preis es wert ist. Deshalb haben wir 13 der Modelle, zwischen denen Teams heute wählen, gegen 26 bekannte Schwachstellen aus der GitHub Advisory Database getestet. Diese umfassen eine Reihe von Sprachen und Projekttypen. Wir haben zwei Dinge gemessen: wie viele Fehler jedes Modell gefunden hat und was es gekostet hat, diese zu finden.
So funktioniert der Benchmark
Wir haben 26 Schwachstellen aus der GitHub Advisory Database entnommen, eine zufällige Verteilung über Sprachen und Projekttypen hinweg, von SQL-Injection in einem Web-Framework bis zu einer Deserialisierungs-RCE in einem ML-Toolkit, und jedes Modell gebeten, diese einzeln in den Repositories innerhalb desselben KI-Codeanalyse-Harnesses wiederzuentdecken, den wir in Produktion verwenden. Anstatt eines Chatfensters ist es ein Modell mit echten Tools, das das Repo navigiert und über Code nachdenkt, wie es ein Auditor tun würde.
Der Harness verwandelt ein Sprachmodell in einen Auditor. Ein allgemeiner Coding-Assistent ist für eine andere Aufgabe konzipiert, nämlich eine Aufgabe zu übernehmen und funktionierenden Code zu produzieren. Richtet man ihn auf ein Repository und fragt, ob es sicher ist, verhält er sich wie ein Entwickelnder, der nach offensichtlich fehlerhaftem Code sucht, und stoppt, sobald er etwas Plausibles gefunden hat. KI-Codeanalyse ist anders aufgebaut. Sie durchsucht die Codebasis nach potenziellen Einstiegspunkten, untersucht jeden verdächtigen Fluss eingehend und führt dann eine Triage der Ergebnisse durch, sodass nur echte Schwachstellen übrig bleiben.
Da wir wussten, wo jede Schwachstelle lag, haben wir jeden Untersuchungsagenten direkt auf das anfällige Code-Snippet gerichtet. Auf diese Weise spiegelt ein Fehlschlag die Schlussfolgerung wider und nicht das Budget, das durch das Herumirren in der falschen Ecke der Codebasis verschwendet wurde. Das Modell muss immer noch den Fluss verstehen, die Ausnutzbarkeit beurteilen und korrekt berichten. Prompts wurden kurz und modellunabhängig gehalten, damit kein Anbieter durch die Formulierung bevorteilt wird.
Wir haben jedes Modell dreimal ausgeführt und die Ergebnisse gebündelt. Eine CVE gilt als „gefunden“, wenn das Modell sie bei einem beliebigen Durchlauf (pass@3) aufdeckt.
Wir haben eine Vielzahl der neuesten Modelle von verschiedenen Anbietern ausgewählt:
- OpenAI: gpt-5.4-nano, gpt-5.4-mini, gpt-5.5 und die gpt-5.6-Serie (luna / terra / sol)
- Anthropic: claude-haiku-4-5, claude-opus-4-7, claude-opus-4-8
- xAI: grok-4.5
- Google: gemini-3.1-pro, gemini-3.5-flash
- Open Weight: glm-5.2
Ergebnisse nach Schweregrad und Schwachstelle
Jedes Modell entdeckte beide kritischen CVEs wieder (eine Deserialisierungs-RCE und eine gespeicherte XSS). Die eigentliche Unterscheidung zeigt sich bei den Funden mit hohem und mittlerem Schweregrad.
Schwierigste & einfachste CVEs
Die beiden kritischen Bugs und mehrere eindeutige Injection-/Zugriffskontroll-Schwachstellen wurden von jedem Modell gefunden. Eine Handvoll spezifischer Ketten besiegte fast alle Modelle.
Die CVEs, die jedes Modell findet, weisen dasselbe Muster auf: Angreifer-kontrollierte Eingaben, die über einen kurzen, lokalen Fluss eine bekannte gefährliche Operation erreichen, wie einen Deserialisierungsaufruf, einen Shell-Exec, einen HTML-Sink oder eine fehlerhafte Signaturprüfung. Dies ist Mustererkennung und sie ist effektiv gelöst. Günstige Modelle und Flaggschiffe erzielen gleichermaßen 13/13 Punkte, ohne jegliche Leistungsunterscheidung.
Die eigentliche Grenze, und wo sich die Modellfähigkeiten tatsächlich unterscheiden, ist das Nachdenken über nicht vorhandene Prüfungen und das Verfolgen komplexer Ketten, die keine einzelne Zeile verrät. Der deutlichste Fall ist SQL Injection-1 in unserem Datensatz, eine indirekte Injection über einen Spaltenalias, den das ORM nie Escape. Nur GPT-5.5 und die stärksten GPT-5.6 Modelle (sol & terra) konnten sie nachvollziehen.
Was uns der Unterschied zwischen Durchschnitt und Union sagt
Die nützlichste Zahl in diesem Benchmark ist der Abstand zwischen dem durchschnittlichen Lauf eines Modells und der Union seiner Läufe. Da jeder Durchlauf eine andere Teilmenge der Bugs aufdeckt, stellt das Poolen (pass@3) eine überraschende Menge wieder her:
Betrachten Sie gpt-5.4-nano: Kein einzelner Lauf knackt die 14, doch drei gepoolte Läufe erreichen 18, ein Sprung um vier CVEs, da jeder Durchlauf unterschiedliche Bugs aufdeckt. claude-haiku-4-5 ist der deutlichste Fall von Varianz, mit 7 Punkten in einem Lauf und 13 in einem anderen, vom selben Modell bei derselben Aufgabe.
Die Erkenntnis hier ist, dass man nicht direkt zum teuersten Modell greifen muss. Drei Läufe von gpt-5.4-nano kosten etwa 170 $ und erreichen 18/26, so viel wie ein einzelner Durchlauf eines Flaggschiffs wie gpt-5.6-terra im Durchschnitt, und das zu einem Bruchteil des Preises. Drei Läufe von gpt-5.4-mini (etwa 460 $) erreichen 20. Das Wiederholen eines soliden Mid-Tier-Modells schlägt einen einzelnen Durchlauf eines Flaggschiffs weitaus häufiger, als der Preisunterschied vermuten lässt.
Lohnt sich ein höheres Reasoning-Level?
Wir haben die anwendbaren Modelle auf zwei Reasoning-Levels ausgeführt, dem Standard „high“ und dem höchsten verfügbaren („xhigh“ für die GPT-5.4/5.5- und Claude-Modelle, „max“ für GPT-5.6, grok-4.5 und glm-5.2). Alle Zahlen sind pass@3-Unions, daher sind sie direkt vergleichbar.
Die klaren Gewinner sind gpt-5.5 (+3 zum 1,5-fachen Preis) und glm-5.2 (+3 zum 1,3-fachen). claude-opus-4-8 gewinnt +2, zahlt aber den doppelten Preis dafür. Überall sonst bringt die Top-Tier-Klasse einen Fund oder keinen, und für gpt-5.6-luna und gpt-5.4-nano lag er einen Punkt niedriger, innerhalb des Rauschbereichs zwischen den Läufen. gpt-5.6-terra ist der deutlichste Fall von abnehmendem Ertrag: 2,2-fache Kosten für dieselben 23.
Die Gemini-Modelle haben keine Einstellung über „high“, daher werden sie in diesem Vergleich ausgelassen.
Update: Kimi K3
Nach der Veröffentlichung dieses Artikels wurde Kimi K3 veröffentlicht. Wir haben Kimi K3 am Wochenende einem Benchmark unterzogen und die Ergebnisse geteilt. Kimi K3 ist das stärkste Open-Source-Modell für Cybersicherheit, das GLM-5.2 weit überlegen ist.
Hier sind die Ergebnisse:
- Obwohl GPT-5.6-Sol immer noch stärker ist, ist Kimi K3 extrem nah dran und das zu einem Bruchteil der Kosten.
- Es bietet eine ähnliche Leistung wie GPT-5.6-terra, ist aber 15 % günstiger
- Mithilfe unseres spezialisierten Harness, das mehrere Agenten parallel startet, ist es in der Lage, 23 von 26 CVEs auf unserem Harness wiederzuentdecken und erreicht dabei die Leistung von Frontier-Modellen, während es 4x günstiger ist als GPT-5.6-Sol, OpenAIs stärkstes Modell!
Der Benchmark ist privat und verwendet kürzlich offengelegte CVEs. Das bedeutet, dass das Modell nicht darauf trainiert wurde. Die Leistung spiegelt einen sehr großen Sprung in den Fähigkeiten der Kimi-Modelle wider.
Fazit
Richtet man ein Frontier-Modell auf eine Codebasis, innerhalb eines dafür gebauten Harness, entdeckt es die meisten bekannten Schwachstellen wieder. Bugs mit einem offensichtlich gefährlichen Sink sind gelöst. Diejenigen, die Modelle noch trennen, haben keinen Sink, auf den man zeigen kann. Eine fehlende Autorisierungsprüfung oder eine Injection, die man nur durch das Verfolgen einer langen, obskuren Kette über mehrere Dateien hinweg erreichen kann.
Die teuerste Stufe rechtfertigt ihren Preis selten. Ein günstigeres Modell mehrmals auszuführen und die Ergebnisse zu poolen, findet mehr, für weniger, als ein einzelner Durchlauf eines Flaggschiffs, und dieser Vorteil wächst nur, wenn Modelle günstiger und stärker werden. Der Harness entscheidet immer noch darüber, ob dieses Reasoning überhaupt auf den richtigen Teil der Codebasis abzielt.
