Wie wir testen
Benchmarks sind nur so gut wie ihr Setup. Hier erfahren Sie, wie wir messen, ob ein Modell echte Schwachstellen findet und was das kostet.
-
1
Echte Schwachstellen auswählen
Wir nutzen bekannte CVEs aus der GitHub Advisory Database, die viele Sprachen und Projekttypen abdecken.
-
2
Den anfälligen Commit fixieren
Jedes Repository wird bei einem Commit eingecheckt, der kurz vor dem Fix lag.
-
3
Im Produktions-Harness ausführen
Modelle laufen im selben KI-Harness, das wir mit Code Security Audit und Aikido Attack ausliefern.
-
4
Auf das anfällige Snippet verweisen
Da wir wissen, wo sich jede Schwachstelle befindet, werden die Ermittler-Agenten auf den anfälligen Code angesetzt. Ein Fehlschlag spiegelt das Reasoning wider – und keine verschwendeten Ressourcen durch zielloses Suchen in der falschen Ecke des Repositories. Prompts bleiben kurz und modellunabhängig.
-
5
Dreimal ausführen und die Ergebnisse zusammenlegen
Modelle arbeiten nicht-deterministisch. Wir führen jedes Modell dreimal aus und werten eine CVE als gefunden, wenn sie bei einem der Durchläufe auftaucht. Durch das Zusammenlegen werden Bugs erfasst, die ein einzelner Durchlauf übersehen würde, und es spiegelt realistischer wider, wie Sie diese Agenten einsetzen würden.
-
6
Abdeckung und Kosten gemeinsam bewerten
Wir erfassen, wie viele CVEs jedes Modell wiederfindet und was das gekostet hat, denn das stärkste Modell bietet selten das beste Preis-Leistungs-Verhältnis. Wir vergleichen auch Reasoning-Tiers, sofern der Anbieter sie zur Verfügung stellt.
Über das Harness-Setup
Ein Harness macht aus einem Sprachmodell einen Auditor. Ein Allzweck-Coding-Assistent ist für eine andere Aufgabe gebaut, nämlich eine Aufgabe zu übernehmen und funktionierenden Code zu erstellen. Wenn man ihn auf ein Repository ansetzt und fragt, ob es sicher ist, verhält er sich wie ein Entwickelnde, der nach offensichtlich Defektem Ausschau hält und aufhört, sobald er etwas Plausibles gefunden hat. Aikido Code Security Audit ist anders aufgebaut. Es durchsucht die Codebasis nach potenziellen Einstiegspunkten, untersucht jeden verdächtigen Datenfluss im Detail und nimmt eine Triage der Ergebnisse vor, sodass wir nur echte Schwachstellen erhalten.
Da wir wussten, wo jede Schwachstelle lag, haben wir jeden Untersuchungsagenten direkt auf das anfällige Code-Snippet gerichtet. Auf diese Weise spiegelt ein Fehlschlag die Schlussfolgerung wider und nicht das Budget, das durch das Herumirren in der falschen Ecke der Codebasis verschwendet wurde. Das Modell muss immer noch den Fluss verstehen, die Ausnutzbarkeit beurteilen und korrekt berichten. Prompts wurden kurz und modellunabhängig gehalten, damit kein Anbieter durch die Formulierung bevorteilt wird.
Möchten Sie das Harness, das diese ausführt?
Dieselbe AI Code Security Audit-Engine, die wir hier benchmarken, überprüft Ihre Codebasis vor dem Release auf mehrstufige Schwachstellen.
Code Security Audit erkunden ↗