Wir haben 11,7 Milliarden Token verbrannt, um das beste Cyber-KI-Modell zu finden

Wir haben 11,7 Milliarden Token verbrannt, um die Cyberfähigkeiten von 10 KI-Modellen anhand von jeweils drei Versuchen zu bewerten, wobei 32 brandneue, handelsübliche Sicherheitslücken wiederentdeckt werden mussten.

Dieser Benchmark ist eine Weiterentwicklung unseres früheren „Known-CVE“-Benchmarks mit einem neuen, anspruchsvolleren Datensatz, mehr Modellen und einer genaueren Betrachtung dessen, was sie finden, wie zuverlässig sie es finden sowie ihrer Eigenheiten und Kompromisse.

Damit erweitern wir unser Angebot um GLM-5.3, DeepSeek V4 Pro 0813, DeepSeek V4 Flash 0731, Qwen3.8-Max, Kimi K3 und Grok 4.6.

TL;DR:

• DeepSeek V4 Pro 0813 findet die meisten Schwachstellen. Bei drei Durchläufen zusammen werden 28 von 32 Schwachstellen erkannt.
• Das teuerste Modell ist nicht erforderlich. Drei DeepSeek-Pro-Durchläufe kosten etwa 295 US-Dollar und übertreffen Opus 5, Grok 4.6 oder Sol. Drei Flash-Durchläufe kosten 108 US-Dollar und erreichen 24 Übereinstimmungen – was dem besten Einzeldurchlauf von Grok entspricht – und das zu weniger als einem Viertel der Kosten.
• Die Modelle weisen Schwankungen bei der Erkennungsrate auf; Wiederholungen beheben dieses Problem. Einzelne Durchläufe erfassen nicht die gesamte Bandbreite der Ergebnisse, doch die Zusammenfassung der Ergebnisse aus mehreren Durchläufen schließt diese Lücke. DeepSeek Pro findet beim ersten Durchlauf 17 Schwachstellen, bei drei Durchläufen jedoch 28.
• Open-Source-Modelle übertreffen mittlerweile die öffentlich zugänglichen Modelle. DeepSeek V4 Pro schnitt bei der zusammengefassten Erfassungsrate von Schwachstellen besser ab als jedes andere von uns getestete öffentlich zugängliche, geschlossene Modell. Qwen, Kimi und GLM-5.3 folgten mit einer hohen Konsistenz der Ergebnisse, ohne dabei an Erfassungsrate einzubüßen. Bei richtiger Nutzung können Open-Source-Modelle nun direkt mit den geschlossenen Modellen konkurrieren.
• Der Preis für eine kostengünstige Abdeckung ist Rauschen. Die offenen Modelle erreichten die Grenze zu deutlich günstigeren Kosten, erzeugten jedoch auch die meisten falschen Hinweise, die von der Pipeline verworfen werden mussten.

So funktioniert der Benchmark

Wir haben 32 Sicherheitslücken aus realen Repositories zusammengestellt und jedes Modell aufgefordert, diese anhand der Quelle erneut zu entdecken.

Jedes Modell durchlief den gesamten Satz von 32 Testfällen dreimal, was insgesamt 96 Durchläufe ergab. So können wir messen, wie viele Schwachstellen ein Modell erkennen kann und wie viele davon es zuverlässig erkennt. 

Der Aufbau entsprach einer eingeschränkten Version des Testumfelds, das hinter unserem Projekt „ KI-Codeanalyse “ steht. Wir haben das Modell für die Primärstufe, das für die Code-Erkundung und -Auswertung zuständig ist, durch jedes unserer Wettbewerbsmodelle ersetzt und dem Agenten maximal 30 Züge zugestanden. Die Modelle verfügen zudem über keinen Internetzugang.

Wir haben besonders auf die Aktualität des Datensatzes geachtet. Die 32 Sicherheitslücken wurden aus kürzlich veröffentlichten CVEs ausgewählt, um die Wahrscheinlichkeit zu verringern, dass die Modelle die Sicherheitslücke, die Beschreibung oder den Patch bereits während des Trainings gesehen hatten. Das Ziel war es, die Fähigkeit zum Schlussfolgern in Bezug auf Sicherheitslücken zu testen und nicht das Auswendiglernen bekannter Fehler. Die Fälle, Eingabeaufforderungen, Tools und Bewertungsrichtlinien wurden über alle Durchläufe hinweg unverändert beibehalten.

Zunächst möchten wir einige Begriffe definieren, die wir im gesamten Artikel verwenden werden:

• Recall – Wie viele Schwachstellen hat das Modell tatsächlich gefunden?
• Genauigkeit – Wie viele der gemeldeten Befunde wurden akzeptiert? 
• Pass – Ein vollständiger Durchlauf eines Modells auf unserem Datensatz mit 32 Schwachstellen

Die Varianz der Modellausgaben zu unserem Vorteil nutzen

Die Leistung von LLMs hängt weitgehend von der jeweiligen Aufgabenstellung ab. Bei Aufgaben, bei denen es auf die Reproduzierbarkeit oder Zuverlässigkeit der Ergebnisse ankommt, wird eine hohe Varianz der Modellausgaben in der Regel negativ bewertet.

Gibt man einem Agenten dieselbe Aufgabe in drei neuen Sitzungen, kann es sein, dass er sie auf drei verschiedene Arten löst. Keine dieser Herangehensweisen muss zwangsläufig „falsch“ sein, doch diese Variation macht das System unvorhersehbar, was im Allgemeinen nicht gut ist, da bei gleicher Eingabe und demselben System unterschiedliche Ergebnisse entstehen.

Die Aufdeckung von Schwachstellen ist jedoch ein Problem, bei dem man diese Eigenschaft von LLMs tatsächlich zu seinem Vorteil nutzen kann, anstatt dass sie sich nachteilig auswirkt. Im Grunde handelt es sich um ein Suchraumproblem, und Suchprobleme können von dieser Varianz profitieren. Bei Sicherheitsaudits kann die Zusammenführung der Ergebnisse mehrerer Durchläufe – wie Sie sehen werden – zu besseren Ergebnissen führen.

Modellinkonsistenzen führen zu Vielfalt, was wiederum möglicherweise zu einer besseren Wiederauffindbarkeit führt. Wenn bei einem Durchlauf Fehler gefunden werden, die bei einem anderen übersehen werden, kann man beide behalten.

DeepSeek Pro hat beim ersten Durchlauf 17 Schwachstellen gefunden. Wäre dies der einzige Durchlauf gewesen, wäre das das Endergebnis.

Bei seinem zweiten und dritten Durchlauf wurden jedoch Schwachstellen entdeckt, die bei den früheren Durchläufen übersehen worden waren. Zählt man alle drei Ergebnisse zusammen, erreichte DeepSeek 28 von 32 Punkten und sicherte sich damit den ersten Platz in unserem Benchmark.

Das Gleiche geschah auch an anderer Stelle. Qwen stieg von 19 im ersten Durchgang auf 26 im Gesamtwert. Kimi stieg von 17 auf 25. Grok stieg von 24 auf 26.

Die explorativen Modelle profitierten enorm von der Wiederholung, da bei verschiedenen Durchläufen unterschiedliche nützliche Pfade erkundet wurden. Grok profitierte deutlich weniger davon, da es jedes Mal bereits ungefähr dieselben Schwachstellen fand.

Jedes Modell hat mindestens einmal 17 Fälle gefunden. Eines hat alle zehn besiegt. Bei den verbleibenden 14 Fällen waren die Modelle nicht mehr austauschbar.

DeepSeek wies den höchsten gepoolten Recall auf. Grok war am beständigsten.

DeepSeek fand die meisten, allerdings nicht sehr konsistent von einem Durchlauf zum nächsten. Über drei Durchläufe hinweg erreichte V4 Pro 0813 schließlich 28 der 32 CVEs und erzielte damit das beste Gesamtergebnis im Benchmark. Allerdings wurden nur 10 davon in jedem Durchlauf gefunden.

Grok war konservativer. Es fand insgesamt mit 26 von 32 etwas weniger Schwachstellen, doch wenn es etwas entdeckte, war die Wahrscheinlichkeit, dass es dies erneut tat, deutlich höher. Es fand in allen drei Durchläufen 21 CVEs und war damit das beständigste Modell in unserem Test, das alle anderen Modelle übertraf.

Opus 5 fand ebenfalls 26 von 32 und verzeichnete mit 25 den stärksten Einzeldurchlauf, wobei in drei Durchläufen durchgehend 19 gefunden wurden. Sol fand 25 von 32 mit derselben Konsistenz von 19 Fällen und lieferte einige der saubersten Berichte.

​

Die DeepSeek-Modelle lieferten zudem weitaus mehr potenzielle Ergebnisse als die anderen Modelle. Diese intensive Suche trug zwar zur Verbesserung der Wiederauffindbarkeit bei, führte jedoch auch zu mehr falschen Hinweisen, die im weiteren Verlauf des Prozesses herausgefiltert werden mussten.

Es lässt sich ein klares Muster erkennen: Der höhere Preis von „Frontiers“ geht mit geringeren Kosten für die Nachbearbeitung ( triage ) und einer besseren Konsistenz einher.

Einblick in die Ermittlungsspuren

DeepSeek Pro war das „hungrigste“ Modell im Benchmark. Es verbrauchte mit einem Median von 24 Runden das meiste Untersuchungsbudget von den maximal 30 Runden, die wir unseren Agenten zur Verfügung stellen.

Opus war die hartnäckigste aller geschlossenen Grenzen. Untersuchungen, die keinen Kandidaten ergaben, dauerten im Median 29 Runden, während solche, die einen Kandidaten hervorbrachten, 19 Runden dauerten.

Sol ermittelte im Durchschnitt etwa 2,74 potenzielle Probleme pro Untersuchung und lieferte einige der klarsten Schlussfolgerungen, die wir gesehen haben, wobei der Weg von der vom Angreifer kontrollierten Eingabe bis zur Sicherheitsauswirkung in der Regel leicht nachvollziehbar war.

Qwen, puh. Bei diesem Modell hatte ich ein CVE-Déjà-vu. 

In 95 von 96 Ausführungsdurchläufen widmete es sich nach der Erkennung der Codebasis einige Runden lang der Analyse älterer, bereits bekannter CVEs in der Codebasis, die aus seinem Trainingswissen stammten. 

Diese Sicherheitslücken waren in der Version des Quellcodes, an der wir unsere Benchmark-Tests durchgeführt haben, bereits behoben, sodass ein Großteil des Untersuchungsbudgets verschwendet wurde, bevor wir schließlich wieder zur Code-Analyse zurückkehrten.

Manchmal handelt es sich um ein Déjà-vu, das als Hinweis dient. Manchmal ist es auch nur eine Besichtigungstour, aber so oder so: Qwen betätigte sich – ohne dazu aufgefordert worden zu sein – viel eher mit einer autonomen Variantenanalyse als mit einfachem Musterabgleich. 

Trotz dieser Eigenart kletterte es in der Rangliste deutlich nach oben und lag beim „pass@3“-Pooled-Recall gleichauf mit Opus und Grok, direkt hinter DeepSeek, das die Führung innehatte.

Von allen wies Kimi das kürzeste Erkundungsprofil mit einem Median von 12 Durchläufen auf. Seine Spuren konvergierten oft eindeutig, schlossen schwächere Theorien aus und führten bereits viel früher im Untersuchungsverlauf zu einer Entscheidung als bei den anderen.

Zudem wies es eine gepoolte Präzision von 92,3 % auf, was über dem Wert aller anderen von uns getesteten Modelle mit offener Gewichtsangabe lag. Weniger Befunde und weniger falsch-positive Ergebnisse.

GLM schließt die Lücke bei den Grenzgebieten

Nein, wir haben GLM-5.3 nicht vergessen. Wir haben sogar die ganze Nacht dafür durchgemacht (im wahrsten Sinne des Wortes!). 

Dank Z.AI hatten wir die Gelegenheit, als früher Evaluierungspartner für GLM-5.3 eng mit dem dortigen Team zusammenzuarbeiten, das Produkt unserem Cybersicherheits-Benchmark zu unterziehen und während des gesamten Vorveröffentlichungsprozesses Feedback zu geben.

Im Rahmen der Bewertung haben wir zwei GLM-5.3-Checkpoints getestet, nämlich einen Preview-Checkpoint vor der Veröffentlichung und die endgültige, veröffentlichte Version.

GLM-5.3-preview übertraf GPT 5.6 Terra hinsichtlich des Kosten-Leistungs-Verhältnisses bei „pass@3“. Es erkannte 75 % der CVEs wieder, verursachte dabei 40 % weniger Kosten und war mit 14 von 32 gefundenen CVEs über alle drei Durchläufe hinweg auch das beständigste der Modelle mit offener Gewichtung.

Die endgültige Version von GLM baute auf dieser Grundlage auf und erzielte bei Recall und Konsistenz eine Verbesserung um mehrere Punkte, wobei die Präzision in etwa gleich blieb.

Es war deutlich ausdauernder als die letzte Version, was zu einem Anstieg des Medianwerts der Kurvennutzung von 18 auf 23 führte.

Insgesamt zeigen die Ergebnisse eine umfassendere und tiefgreifendere Erkundung. Die Trefferquote verbesserte sich von 24/32 auf 25/32 und lag damit gleichauf mit GPT Sol, war dabei aber 65,5 % günstiger. Außerdem übertraf es GPT-5.6 Terra, GPT-5.6 Luna und DeepSeek Flash 0731 und lag nur 1 CVE hinter Opus 5, war dabei aber immer noch 69,8 % günstiger.

Auch die Konsistenz stieg von 14/32 auf 18/32 und war über alle Durchläufe hinweg konstant. Diese Verbesserungen gingen jedoch mit einem Anstieg der Kosten pro gefundenem CVE von 14,77 $ auf 19,65 $ einher. Dennoch ist das Modell deutlich kostengünstiger als Sol, Opus und Grok und bietet gleichzeitig eine wettbewerbsfähige Leistung. Außerdem wies es den höchsten „pass@1“-Recall aller Open-Source-Modelle auf.

Offene Gewichte haben die öffentliche Grenze gerade knapp übertroffen

In unserem letzten Benchmark-Test sah es so aus, als würden offene Fonds schnell aufholen. Diesmal haben sie mehr als nur aufgeholt. Bei richtiger Anwendung erzielten sie vergleichbare Ergebnisse wie die Frontier-Fonds und übertrafen diese sogar.

DeepSeek erzielte die beste gepoolte Abdeckung aller Modelle und lag damit vor Opus, Sol und Grok. GLM 5.3 holte bei der Konsistenz über verschiedene Durchläufe hinweg auf, und Qwen behauptete sich bei der gepoolten Präzision und dem Recall. 

Die geschlossenen Modelle hatten zwar nach wie vor ihre eigenen Vorteile, doch die alte Hierarchie – mit einem geschlossenen Grenzmodell an der Spitze und allem anderen darunter – hat diesen Vergleich nicht überstanden.

Dieser Benchmark testet ausschließlich die Leistung der öffentlich zugänglichen Versionen der Closed-Frontier-Modelle. Die Modelle der Klassen „Mythos“ und „GPT 5.6 Daybreak“ wurden in unseren Tests nicht berücksichtigt.

Heißt das, man kann Sol/Opus aus seinen Systemen herausnehmen und stattdessen ein beliebiges Modell der „Open-Weight“-Serie einbauen?

Doch nicht.

Wir sprechen von „korrekter Befestigung“ – und legen dabei besonderen Wert darauf. Modelle mit offenem Gewicht sind zwar beeindruckend, erreichen jedoch ohne ein sorgfältig konzipiertes Befestigungssystem noch nicht das Niveau, um ein Frontier-Modell zu ersetzen.

Je besser die Frontier-Modelle werden, desto deutlicher zeigt sich der Trend, dass eine minimale Parametrisierung zu einer besseren Leistung führt. Die Open-Weights-Gruppe ist noch ein paar Schritte davon entfernt, dieses Minimum zu erreichen.

Welches Modell würden wir also wählen?

Bei rund 11,7 Milliarden Token lautet die richtige Frage nicht: „Welches Modell ist das beste?“.

Besser ist es, sich zu fragen, wo ein Modell in Ihr System passen sollte. Welchen Forscher schicken Sie als Ersten, welchen als Zweiten, und wer überprüft wessen Arbeit?

Sie müssen nicht gleich zum teuersten Modell greifen. Drei Durchläufe mit DeepSeek V4 Pro 0813 kosteten etwa 295 US-Dollar und deckten 28 von 32 Schwachstellen auf – mehr als jeder einzelne Durchlauf mit Opus 5, Grok 4.6 oder Sol, obwohl jeder dieser Durchläufe etwa 450 bis 590 US-Dollar kostete. 

Selbst drei Flash-Durchläufe kosten nur 108 Dollar und erreichen 24 Übereinstimmungen – das entspricht Groks bestem Ergebnis in einem einzigen Durchlauf, und das für weniger als ein Viertel des Preises. Die Wiederholung eines effizienten Modells kann eine größere Abdeckung erzielen als ein einziger teurer Versuch, bringt jedoch auch eigene Nachteile mit sich. Die Kosten werden auf spätere Phasen der Pipeline verlagert. 

Die Kunst der Kabelbaumkonstruktion besteht darin, das richtige Gleichgewicht zwischen Rückstellkraft und Präzision zu finden.

Wir sind begeistert von den Neuigkeiten! Das war es wert, auf Schlaf zu verzichten. Bis zum nächsten Mal!

Dieser Benchmark misst Rohmodelle. Aikido wandelt diese in zuverlässige Schwachstellenbefunde um. Code Security Audit wendet diese Logik auf Ihren gesamten Quellcode an. Stellen Sie sich das als agentenbasierte KI vor SAST . Aikido Attack schickt autonome Agenten auf Ihre laufende Anwendung los, sammelt Treffer und verwirft falsche Hinweise – genau so, wie sie hier von der Pipeline aussortiert wurden. Nutzen Sie die Leistungsfähigkeit der neuesten Modelle und sichern Sie Ihre Systeme. Sehen Sie sich das Ganze unter aikido.dev an.

P.S. Wir stellen außerdem neue Mitarbeiter ein. Kommen Sie zu uns und gestalten Sie die Zukunft mit.