Claude Mythos ist wohl das leistungsstärkste Cybersicherheitsmodell, das Anthropic entwickelt hat. Wir wissen jedoch, dass die Leistungsfähigkeit des Modells nur ein Teil dessen ist, was die Leistungsfähigkeit eines KI-basierten Produkts zur Erkennung von Sicherheitslücken ausmacht.
Um dies zu überprüfen, haben wir „Claude Security“ von Anthropic, das auf Mythos läuft, und „Aikido “ Code Security Audit direkt miteinander verglichen – und zwar am exakt gleichen Testobjekt –, um festzustellen, welches Tool die beste Abdeckung bietet und zu welchen Kosten. „Code Security Audit“ ist Teil der „ KI-Codeanalyse “-Suite vonAikido. Außerdem haben wir „Codex Security“ getestet.
Wir haben alle drei Produkte mit einer internen Benchmark-Anwendung getestet, bei der zuvor 89 bekannte Schwachstellen identifiziert worden waren.
Das Ergebnis? Claude Security hat mit Mythos 60 von 89 Schwachstellen (67 %) für 157 US-Dollar aufgedeckt, während das Code Security Audit von Aikido68 von 89 (76 %) für 75 US-Dollar identifiziert hat. Codex Security hat 58 von 89 für 125 US-Dollar aufgedeckt.
Aikido Mythos hat im Vergleich zu Claude Security acht weitere Schwachstellen entdeckt, darunter eine kritische und drei Schwachstellen mit hohem Schweregrad, und das zu weniger als der Hälfte der Kosten. Aikido hat sogar ganze zehn mehr gefunden als Codex Security. Diese Ergebnisse sind ein weiteres Beispiel dafür, dass Leistung und Effizienz vom System rund um das Modell abhängen und dass selbst das leistungsfähigste Modell in seiner Leistung hinterherhinken kann.
Der Gurt macht nach wie vor den Unterschied aus
Wie wir bereits geschrieben haben, ist die Aufdeckung von Sicherheitslücken im Grunde genommen ein Suchproblem. Ein Tool muss entscheiden, wo es suchen soll, welchen Hypothesen es nachgehen soll, wie gründlich es diese untersuchen soll und wann ein Befund ausreichende Belege liefert, um darüber zu berichten.
Claude Security nutzt einen ausgeklügelten Prozess, der Repository-Mapping, Scan-Agenten und eine mehrstufige Verifizierung umfasst. „ Aikido “ verfügt über einen eigenen ausgeklügelten Prozess, unterscheidet sich jedoch in der Art und Weise, wie diese Arbeit verteilt wird: Dabei kommen kostengünstigere, kleinere Modelle zum Einsatz, die speziell für die Aufgaben ausgewählt werden, die sie am besten bewältigen. Diese kleineren Modelle können ein breiteres Spektrum unabhängiger Hypothesen untersuchen, während aufwendige „Frontier Reasoning“-Verfahren den Phasen vorbehalten bleiben, in denen sie am ehesten einen Einfluss auf das Ergebnis haben.
Dank dieser Aufteilung konnte dieser Lauf sein Budget für eine breit angelegte Untersuchung einsetzen, anstatt bei allem auf das teuerste Modell zurückzugreifen, und genau das führte zu einer deutlich höheren Recall-Rate.
Diese höhere Erkennungsrate umfasste mehrere Probleme mit Auswirkungen in der Praxis, die von der Vielzahl der Agenten von Aikidoerkannt wurden, von Mythos jedoch übersehen wurden. Eines davon war eine kritische, mandantenübergreifende Autorisierungslücke, die es Benutzern ermöglichte, ihre eigenen Kontoeinstellungen zu aktualisieren und ihre Organisationszuordnung zu ändern, um sich einer anderen Organisation hinzuzufügen, wodurch sie Zugriff auf die Daten dieser Organisation erhielten. „ Aikido “ entdeckte zudem subtilere und leicht zu übersehende Probleme, darunter eine Diskrepanz im Zeitstempelformat zwischen der Anwendung und der Datenbank, die dazu führte, dass abgelaufene API-Schlüssel weiterhin gültig blieben.
Pionierarbeit wird schnell teuer
Mythos beginnt bei 10 US-Dollar pro Million Eingabetoken und 50 US-Dollar pro Million Ausgabetoken. Das summiert sich schnell, wenn sich eine Überprüfung auf Hunderte von Agentenverläufen in einem großen Repository ausweitet.
Die Schwierigkeit besteht darin, dass Code-Audits zur Ermittlung von Agenturproblemen keinen festen Arbeitsaufwand haben. Je nach Faktoren wie der Größe des Repositorys und der Komplexität der Anwendung variieren die Anzahl der zu verfolgenden Hinweise und der erforderliche Analyseaufwand in der Regel von Repository zu Repository.
Claude Security überlässt diese Unwägbarkeit Ihnen. Die Nutzer tappen im Dunkeln, da Claude Security die Kosten für den Scan erst nach Abschluss des Vorgangs bekannt gibt. Wenn sich die Wogen geglättet haben, können die Kosten daher deutlich höher ausfallen, als Sie erwartet hätten.
Aikido trifft eine andere Entscheidung. Wir übernehmen diese Unsicherheit selbst. Bevor der Scan beginnt, schätzen wir die Kosten dynamisch anhand der Größe des Repositorys, des zu prüfenden Codes und der Komplexität und zeigen dem Nutzer diese Schätzung an.
Als Nutzer können Sie den Abdeckungsgrad nach oben oder unten anpassen, um ihn an diese Schätzung anzupassen, bevor Sie sich darauf festlegen. Unser Lauf auf dem Benchmark-Repo hätte Sie bei der empfohlenen Tiefe 75 $ gekostet, während Claude Security pauschal 157,06 $ gekostet hätte.
Und wenn Sie der Meinung sind, dass das Repository eine noch umfassendere Abdeckung verdient, als wir automatisch geschätzt haben, können Sie diesen Wert gerne erhöhen.
Bei unserem Test mit Claude Security wurde im Vorfeld kein Kostenvoranschlag vorgelegt, und der Gesamtbetrag wurde erst nach Abschluss des Scans bekannt.
Das Repository, das wir für den Scan verwendet haben, umfasst etwa 15.000 Codezeilen. Da es keine Möglichkeit gibt, vorab eine Kostenschätzung einzusehen oder den Analyseaufwand an das eigene Budget anzupassen, ist dies bei einem Repository dieser Größe noch verkraftbar. Es wird jedoch zu einem viel größeren Problem, da die Kosten für die Suche nach Schwachstellen mit der Größe des Repositorys, dem Anwendungstyp und der Komplexität der Pipeline steigen.
Wenn Sie ein teures Modell auf ein Monorepo anwenden oder es bei jedem Pull-Request ausführen, kann eine fehlende Vorab-Schätzung dazu führen, dass die Kosten deutlich höher ausfallen, als Sie erwarten würden.
Was das bedeutet
Wir vertreten schon seit einiger Zeit die Ansicht, dass das Design des Test-Harness die Sicherheitsergebnisse stärker beeinflusst als das darunterliegende Modell. Dieser Benchmark liefert uns einen ersten Einblick in einen direkten Vergleich, indem Mythos 5 und Codex Security anhand derselben Repositories gegen Code Security Audit getestet wurden – und das Test-Harness machte erneut den Unterschied aus.
Natürlich ist eine einzige Vergleichsmessung noch kein endgültiger Beweis, aber sie liefert doch Hinweise darauf, dass das „Harness-over-Model“ nicht mehr nur auf Behauptungen beruht.
