Wie wir testen – Rangliste der KI-Modelle von Aikido
Aikido/Forschung
← Zurück zur Bestenliste

Wie wir testen

Benchmarks sind nur so gut wie ihr Setup. Hier erfahren Sie, wie wir messen, ob ein Modell echte Schwachstellen findet und was das kostet.

  1. 1

    Echte Schwachstellen auswählen

    Wir nutzen bekannte CVEs aus der GitHub Advisory Database, die viele Sprachen und Projekttypen abdecken.

  2. 2

    Den anfälligen Commit fixieren

    Jedes Repository wird bei einem Commit eingecheckt, der kurz vor dem Fix lag.

  3. 3

    Im Produktions-Harness ausführen

    Modelle laufen im selben KI-Harness, das wir mit Code Security Audit und Aikido Attack ausliefern.

  4. 4

    Auf das anfällige Snippet verweisen

    Da wir wissen, wo sich jede Schwachstelle befindet, werden die Ermittler-Agenten auf den anfälligen Code angesetzt. Ein Fehlschlag spiegelt das Reasoning wider – und keine verschwendeten Ressourcen durch zielloses Suchen in der falschen Ecke des Repositories. Prompts bleiben kurz und modellunabhängig.

  5. 5

    Dreimal ausführen und die Ergebnisse zusammenlegen

    Modelle arbeiten nicht-deterministisch. Wir führen jedes Modell dreimal aus und werten eine CVE als gefunden, wenn sie bei einem der Durchläufe auftaucht. Durch das Zusammenlegen werden Bugs erfasst, die ein einzelner Durchlauf übersehen würde, und es spiegelt realistischer wider, wie Sie diese Agenten einsetzen würden.

  6. 6

    Abdeckung und Kosten gemeinsam bewerten

    Wir erfassen, wie viele CVEs jedes Modell wiederfindet und was das gekostet hat, denn das stärkste Modell bietet selten das beste Preis-Leistungs-Verhältnis. Wir vergleichen auch Reasoning-Tiers, sofern der Anbieter sie zur Verfügung stellt.


Über das Harness-Setup

Ein Harness macht aus einem Sprachmodell einen Auditor. Ein Allzweck-Coding-Assistent ist für eine andere Aufgabe gebaut, nämlich eine Aufgabe zu übernehmen und funktionierenden Code zu erstellen. Wenn man ihn auf ein Repository ansetzt und fragt, ob es sicher ist, verhält er sich wie ein Entwickelnde, der nach offensichtlich Defektem Ausschau hält und aufhört, sobald er etwas Plausibles gefunden hat. Aikido Code Security Audit ist anders aufgebaut. Es durchsucht die Codebasis nach potenziellen Einstiegspunkten, untersucht jeden verdächtigen Datenfluss im Detail und nimmt eine Triage der Ergebnisse vor, sodass wir nur echte Schwachstellen erhalten.

Da wir wussten, wo jede Schwachstelle lag, haben wir jeden Untersuchungsagenten direkt auf das anfällige Code-Snippet gerichtet. Auf diese Weise spiegelt ein Fehlschlag die Schlussfolgerung wider und nicht das Budget, das durch das Herumirren in der falschen Ecke der Codebasis verschwendet wurde. Das Modell muss immer noch den Fluss verstehen, die Ausnutzbarkeit beurteilen und korrekt berichten. Prompts wurden kurz und modellunabhängig gehalten, damit kein Anbieter durch die Formulierung bevorteilt wird.


Möchten Sie das Harness, das diese ausführt?

Dieselbe AI Code Security Audit-Engine, die wir hier benchmarken, überprüft Ihre Codebasis vor dem Release auf mehrstufige Schwachstellen.

Code Security Audit erkunden ↗