KI-Penetrationstests KI-Agenten, um Anwendungen so zu untersuchen, wie es ein erfahrener menschlicher Tester tun würde. Im besten Fall deckt das Verfahren IDORs, Autorisierungsfehler und Wege zum Missbrauch von Logik auf: jene schwer fassbaren Fehler, die automatisierte Scanner übersehen und die bei realen Sicherheitsverletzungen auftreten. Die Marketingversprechen übertreffen die tatsächlichen Ergebnisse.
Doyensec ist ein unabhängiges Beratungsunternehmen für Anwendungssicherheit. Wir haben sie gebeten, einen direkten Vergleich durchzuführen: zwei echte Anwendungen, zufällig aus einem Pool von 442 ausgewählt, wurden in derselben Preisklasse mit denselben Anmeldedaten getestet, wobei jeder Befund von zwei Forschern im Peer-Review-Verfahren manuell validiert wurde.
Was die Zahlen tatsächlich aussagen
Im Rahmen des Benchmarks wurden zwei Anwendungen getestet: Fider, eine Open-Source-Plattform für Nutzer-Feedback, und Photoview, eine auf TypeScript/Next.js basierende Fotogalerie-App mit rollenbasierter Zugriffskontrolle.
Aikido 49 bestätigte SchwachstellenAikido . XBOW 31. Das sind 58 % mehr zum gleichen Preis.
Quelle: Doyensec
Die Falsch-Positiv-Raten sind nahezu identisch. Das bedeutet, dass der Unterschied nicht darin liegt, dass ein Tool ungenauer oder weniger präzise ist. Beide Tools sind in etwa gleich kalibriert, aber Aikido findet Aikido deutlich mehr Schwachstellen.
Die Überlappungsstatistik zeigt die wahre Situation: nur 3 übereinstimmende Ergebnisse bei Fider, 4 bei Photoview. Von insgesamt 49 bzw. 31 Ergebnissen stimmten die beiden Tools bei weniger als 10 % der Schwachstellen überein. Das ist keine geringfügige Abweichung. Zwei Tools, die dieselben Anwendungen untersuchten, fanden fast ausschließlich unterschiedliche Ergebnisse. Die Wahl des Tools hat reale Konsequenzen dafür, welche Risiken Ihnen tatsächlich bewusst sind.
Quelle: Doyensec
Ein besserer Kontext führt zu besseren Ergebnissen
Aikido den Code vor Beginn der Tests Aikido . Jeder Test orientiert sich daran, was der Code eigentlich leisten soll. Für menschliche Penetrationstester dauert eine solche Vorbereitung Tage. Für ein KI-System dauert es Sekunden. Die zusätzlichen Kosten sind praktisch gleich null.
Das ist besonders wichtig für die Schwachstellenklassen, die automatisierte Scanner übersehen. IDORs, Autorisierungsfehler und Wege zum Missbrauch der Logik werden erst sichtbar, wenn man versteht, wie eine Anwendung eigentlich funktionieren soll. Ein Tool, das einen Benutzer-Endpunkt untersucht, hat keine Möglichkeit zu wissen, dass auf diesen Endpunkt mit der ID eines anderen Benutzers zugegriffen werden kann, es sei denn, es versteht, was die Autorisierungslogik eigentlich durchsetzen soll. Es kann nur sehen, was sichtbar ist. Es kann nicht darüber nachdenken, was unsichtbar sein sollte, es aber nicht ist.
Doyensec merkte außerdem an, dass XBOW einen Fehlalarm weniger XBOW und in einigen Fällen möglicherweise eine etwas schnellere Validierung der Ergebnisse ermöglichte.
Das, woran Käufer erst denken, wenn es schon zu einem Problem geworden ist
„Abdeckung“ ist die Schlagzeile. Was nach dem Klicken auf „Start“ passiert, ist ebenfalls wichtig.
Aikido und Inbetriebnahme Aikido in beiden Anwendungen dauerte weniger als 20 Minuten. Selbstbedienung.
XBOW ein Vertriebsmitarbeiter die Genehmigung erteilen, bevor mit dem Scan begonnen werden konnte. Dann folgte ein DocuSign-Vertrag. Als es endlich lief, waren 22 Support-E-Mails, drei Neustarts des Scans nach Abstürzen, ein gelöschtes Testkonto sowie zwei Infrastrukturausfälle erforderlich, die EC2-Upgrades während des Projekts erforderten. Der Fider-Bericht traf fünf Tage nach Abschluss des Scans ein, elf Tage nach Beginn des Projekts.
Sicherheitsteams führen Penetrationstests unter Zeitdruck durch. Elf Tage bis zur Ergebniserteilung und Abstürze während des Auftrags sind inakzeptabel.
XBOW einen Wiederholungstest innerhalb von 30 Tagen. Aikido 90 Tage lang unbegrenzte Wiederholungstests ohne zusätzliche Kosten, mit Ergebnissen innerhalb von Minuten. Der Sinn einer Schwachstellenentdeckung besteht darin, diese zu beheben und die Behebung zu bestätigen. Wenn die Bestätigung jeder Behebung einen neuen Auftrag erfordert, verlangsamt dies entweder den Behebungszyklus oder verursacht zusätzliche, nicht geplante Kosten.
Tests durch einzelne Benutzer reichen für rollenbasierte Anwendungen nicht aus
XBOW Tests mit mehreren Benutzern noch die Anmeldung über soziale Netzwerke. Für alle, die Anwendungen mit rollenbasierter Zugriffskontrolle testen, ist dies ein großes Problem, das zu ungetesteten Pfaden führt.
Ganze Kategorien von Autorisierungsschwachstellen erfordern Tests über mehrere Benutzerrollen hinweg. IDORs, Privilegieneskalation und fehlerhafte Autorisierung auf Objektebene werden erst sichtbar, wenn man testen kann, auf welche Ressourcen eine Rolle im Vergleich zu einer anderen zugreifen kann. Wenn man nur als ein einziger Benutzer testen kann, fallen diese Schwachstellen nicht in den Testumfang.
Was Doyensec feststellte
Aikido Vorteile beim Einrichtungsprozess, bei der Gesamtgeschwindigkeit der Tests und der Berichterstellung sowie hinsichtlich der Auswirkungen seines Testansatzes auf die Zielanwendung und die Umgebung. Außerdem identifizierte es eine höhere Anzahl echter Treffer und lieferte eine etwas bessere Berichtsqualität.“
Wir haben diesen Benchmark in Auftrag gegeben, weil wir davon ausgingen, dass Aikido dabei gut Aikido würde. Und so war es auch. Unabhängige Untersuchungen lohnen sich nur dann, wenn man die Ergebnisse auch veröffentlicht.
Der vollständige Bericht mit der Methodik, allen Ergebnissen und der Tabelle mit den Rohdaten ist auf unserer Berichtsseite verfügbar.
Den vollständigen Doyensec-Bericht lesen →
Möchten Sie erfahren, wie Aikido in Ihrem Alltag Aikido ? Buchen Sie eine Vorführung →
