AIKIDO ARENA

KI-Modell-Benchmarks für Cybersicherheit

Finden Sie heraus, welche Modelle im Bereich Cybersicherheit am besten abschneiden. Wir testen Frontier-Modelle anhand von Schwachstellen in realer Software. Wird bei Veröffentlichung neuer Modelle aktualisiert.

Änderungsprotokoll

12. November 2026
  • Ergebnisse von „Gemini 4 Argon“ hinzugefügt
    • Es stellte fest, dass 28 von 32 Schwachstellen den Test „pass@3“ bestanden, womit es gleichauf mit DeepSeek V4.1 Flash 1017 lag und nur eine Schwachstelle hinter GPT-6 Astra zurückblieb.
    • Bei einem Durchlauf wurden durchschnittlich 82,3 % ermittelt; durch die Kombination von drei Durchläufen stieg der Wert auf 87,5 %.
    • Es erzielte eine Präzision von 93 %.
    • Mit 59,59 US-Dollar pro gefundenem CVE kostet es weniger als die Hälfte von GPT-6 Astra (135,23 US-Dollar).
  • Ergebnisse von „Gemini 3.8 Flash Cyber“ hinzugefügt
    • Es stellte fest, dass 25 von 32 Schwachstellen den Test „pass@3“ bestanden, womit es gleichauf mit dem Xiaomi MiMo 2.6 Pro, dem GLM-5.3 und dem GPT-5.6 Sol lag.
    • Bei einem Durchlauf lag der Wert im Durchschnitt bei 65,6 %; durch die Kombination von drei Durchläufen stieg er auf 78,1 %.
    • Es erzielte eine Präzision von 80,4 % – den niedrigsten Wert aller Modelle in der Tabelle.
    • Mit 37,14 US-Dollar pro gefundenem CVE ist es teurer als Xiaomi MiMo 2.6 Pro (11,79 US-Dollar) und GLM-5.3 (19,65 US-Dollar), die die gleiche Anzahl an Schwachstellen aufgedeckt haben.
  • Muse Wonder 1.0, Kimi K3 und Qwen3.8 Max (nicht mehr im Einsatz)
28. Oktober 2026
  • Ausgemustert: GPT-5.6 Terra, Grok 4.6, DeepSeek V4 Pro 0813, DeepSeek V4 Flash 0731, GLM-5.3 Flash und Claude Haiku 5.5
27. Oktober 2026
  • Die Ergebnisse von DeepSeek V4.1 Flash 1017 wurden hinzugefügt; diese ersetzen den Snapshot 0910.
    • Es stellte fest, dass 28 von 32 Schwachstellen den Test „pass@3“ bestanden, womit es gleichauf mit DeepSeek V4 Pro 0813 lag und nur eine Schwachstelle hinter GPT-6 Astra zurückblieb.
    • Es erzielte eine Präzision von 86,4 % – eine Steigerung gegenüber den 78,9 % des Snapshots 0910 und der höchste Wert aller DeepSeek-Modelle in der Tabelle.
    • Bei einem Durchlauf lag der Durchschnitt bei 70,8 %; durch die Kombination von drei Durchläufen stieg er auf 87,5 %.
    • Mit 2,40 US-Dollar pro gefundenem CVE liegt es gleichauf mit Claude Haiku 5.5 und wird nur von GPT-6 Luna (2,01 US-Dollar) übertroffen.
  • Ergebnisse von MiniMax M3.1 Flash hinzugefügt
    • Es wurden 24 von 32 Schwachstellen in Pass@3 festgestellt, verglichen mit 28 von 32 bei DeepSeek V4.1 Flash 1017.
    • Ein Durchlauf ergab durchschnittlich 59,4 %, gegenüber 70,8 % bei DeepSeek V4.1 Flash 1017; durch die Kombination von drei Durchläufen wurden 75 % erreicht.
    • Es erzielte eine Präzision von 80,5 %, was bedeutet, dass die Falsch-Positiv-Rate etwa 40 % höher ist als die von DeepSeek V4.1 Flash 1017.
    • Mit 4,20 US-Dollar pro gefundenem CVE liegen die Kosten deutlich über denen von DeepSeek V4.1 Flash 1017 (2,40 US-Dollar).
    • Bei allen drei Durchläufen wurde ein Deserialisierungsfehler in „spring-kafka“ festgestellt, den Opus 5 und Qwen 3.8 Max jedes Mal übersehen hatten.
    • In den Protokollen vergleicht es die Berechtigungen benachbarter Endpunkte und prüft, welche Zugriffsrechte ein Angreifer bereits benötigen würde, wodurch unnötige Informationen aus den Berichten herausgefiltert werden.
    • Es kann auch in Schlussfolgerungsschleifen stecken bleiben; eine Untersuchung ergab über 1 Million Zeichen an Schlussfolgerungen.
    • Es schlägt sich recht gut, aber angesichts der heutigen Alternativen würden wir es für Aufgaben im Bereich der Cybersicherheit nicht empfehlen.
  • DeepSeek V4.1 Flash (0910) – nicht mehr verfügbar
13. Oktober 2026
  • Ergebnisse von „Muse Wonder 1.0“ hinzugefügt
    • Es wurden 26 von 32 Schwachstellen bei „pass@3“ festgestellt, genau so viele wie bei Opus 5 und Grok 4.6.
    • Bei einem Durchlauf wurden durchschnittlich 57,3 % gefunden; durch die Kombination von drei Durchläufen stieg die Trefferquote auf 81,3 %. Da nur 12 CVEs in allen drei Durchläufen auftauchten, erzielt das Programm die besten Ergebnisse, wenn man es dreimal ausführt.
    • Es erzielte eine Präzision von 80,8 % und lag damit nur vor den DeepSeek-Modellen auf der Liste. In weniger fundierten Berichten wurde davon ausgegangen, dass ein Angreifer die Sicherheitslücke ausnutzen könnte oder dass nachgelagerter Code sie missbrauchen würde, ohne dass dies überprüft wurde.
    • Es verwirft Theorien, die sich nicht bestätigen lassen. In einem Fall vermutete es eine fehlende Eigentumsprüfung, verfolgte jeden Anrufer, stellte fest, dass jeder von ihnen geschützt war, und gab nach 27 Versuchen auf.
    • Mit 71,75 US-Dollar pro gefundenem CVE ist der Preis höher als bei Opus 5 (64,96 US-Dollar). Nur 41,3 % der Eingaben stammten aus dem Cache, verglichen mit 79,5 % bis 91,1 % bei den von uns untersuchten Modellen GPT und Haiku, sodass weitaus mehr Token zum vollen Preis abgerechnet werden.
8. Oktober 2026
  • Ergebnisse von Claude Haiku 5.5 hinzugefügt
    • Es wurden 17 von 32 Schwachstellen in der Kategorie „pass@3“ gefunden, womit es mit GPT-6 Luna gleichauf liegt. Jede von ihm gefundene CVE wurde auch von Opus 5 entdeckt.
    • Es erzielte eine Genauigkeit von 94 % und lag damit über den 87 % von Opus 5.
    • Ein Durchlauf ergab durchschnittlich 36,5 %; durch die Kombination von drei Durchläufen stieg dieser Wert auf 53,1 %. In allen drei Durchläufen wurden nur 6 CVEs gefunden – so wenige wie bei keinem anderen Modell in der Rangliste –, sodass sich zusätzliche Durchläufe bei Haiku stärker auszahlen als bei allen anderen von uns getesteten Modellen.
    • Mit 2,40 US-Dollar pro gefundenem CVE ist es das drittgünstigste Modell auf der Liste, hinter GPT-6 Luna und DeepSeek V4.1 Flash. Opus 5 kostet 64,96 US-Dollar pro gefundenem CVE.
2. Oktober 2026
  • Ergebnisse für Xiaomi MiMo 2.6 Pro hinzugefügt
    • Es hat 25/32 Schwachstellen (pass@3) gefunden und liegt damit gleichauf mit GPT-6.1 Sol, Kimi K3 und GLM 5.3 sowie nur einen Platz hinter Opus 5
    • Es erzielte eine Präzision von 88 % und lag damit vor allen Qwen- und DeepSeek-Modellen
    • Ein Durchlauf ergab im Durchschnitt 64,6 %; durch die Kombination von drei Durchläufen stieg der Wert auf 78,1 %
    • Das Ganze für nur 11,79 $ pro gefundenem CVE
29. September 2026
  • Ergebnisse für Grok 4.7 hinzugefügt
    • 4.7 fand 3 Schwachstellen, die 4.6 jedes Mal übersehen hatte, während 4.6 2 fand, die 4.7 übersehen hatte. Der Kompromiss liegt in der Reproduzierbarkeit. 4.7 fand bei allen drei Durchläufen 18/32, verglichen mit 21/32 bei 4.6. Mehr Reichweite bei etwas geringerer Konsistenz.
  • Ergebnisse für GPT-6 Luna und GPT-6 Sol hinzugefügt
    • Wir haben GPT-6 Luna und Sol an unserem 32-CVE-Cyber-Benchmark getestet und die Ergebnisse waren unerwartet! Luna hat 53,1 % wiederentdeckt. Sol erreichte 68,8 %.
    • Keines von beiden übertraf die GPT-5.6-Varianten beim Recall. Aber beide wurden pro gefundenem CVE VIEL günstiger: Luna 3,43 $ → 2,01 $/CVE und Sol 56,88 $ → 34,18 $/CVE.
11. September 2026
  • Ergebnisse für GPT-6 Astra und GLM-5.3 Flash hinzugefügt.
Ein starkes Modell ist erst der Anfang.

Das Framework von Aikido verwandelt Reasoning in hochwertige Sicherheitsergebnisse in Ihrer gesamten Anwendung, egal ob beim Code Security Audit Ihres Quellcodes oder beim Testen Ihrer laufenden App mit Aikido Attack.

Mitwirkende

Debarshi
Forscher
Philippe Dourassov
AI Pentest Lead
Rein Daelman
Bug Bounty Hunter

Werden Sie noch heute sicher,
schnell und kostenlos.

Sichern Sie Code, Cloud und Laufzeit in einem zentralen System. Verbinden Sie ein Repository, um herauszufinden, was die KI-Agenten in Ihrer Codebasis finden.

Keine Kreditkarte erforderlich | Scan-Ergebnisse in 32 Sekunden.
Von über 150.000 Unternehmen vertraut