Penetrationstests waren sinnvoll, als Releases nur alle paar Monate stattfanden. Eine punktuelle Bewertung konnte wochen-, manchmal monatelang ein genaues Bild des Risikos liefern. Heute liefern Entwicklungsteams kontinuierlich aus. Unsere Studie zum Stand von KI-Penetrationstests unter 200 CISOs und 200 Engineering-Führungskräften ergab, dass 76 % mindestens wöchentlich signifikante Änderungen bereitstellen, während fast 40 % täglich deployen. Dennoch validieren nur 21 % die Sicherheit bei jedem Release.
Diese Lücke hat Konsequenzen.
- 79 % sind besorgt über übersehene Schwachstellen zwischen den Penetrationstests.
- Die Hälfte sagt, dass die Ergebnisse bereits veraltet sind, wenn der Bericht eintrifft.
- 64 % geben an, dass Zeitpläne für Sicherheitstests Release-Entscheidungen beeinflussen, indem sie entweder Deployments verzögern oder Teams zwingen, zusätzliche Risiken einzugehen.
Für viele Organisationen wird KI-Penetrationstests zur praktischen Methode, diese Lücke zu schließen. Da es sich jedoch noch um eine relativ neue Kategorie handelt, bewerten Käufer Plattformen oft anhand von Kriterien, die für traditionelle Penetrationstests entwickelt wurden. Diese Kriterien sagen Ihnen nicht mehr, welche Plattform am besten funktioniert, sobald sie Teil Ihres Entwicklungs-Workflows ist.
Fragen, die jeder Anbieter von KI-Penetrationstests beantworten können sollte
Jeder Anbieter kann die Entdeckung von Schwachstellen demonstrieren.
Die schwierigeren Fragen stellen sich, sobald die Plattform Teil Ihres Engineering-Workflows wird. Kann sie Quellcode nutzen? Wie wird verhindert, dass KI-Agenten den Scope verlassen? Wird die Plattform weiterhin Wert liefern, wenn sich Ihre Software ändert?
Kann die Plattform Quellcode verwenden?
Bei über 1.000 KI-Penetrationstests deckte Whitebox-Testing 7-mal mehr Schwachstellen auf und erforderte dabei weniger Versuche als Greybox-Testing allein.
Nicht jede KI-Penetrationstest-Plattform unterstützt Whitebox-Testing, und diejenigen, die es tun, verwenden Quellcode nicht unbedingt auf die gleiche Weise. Zu verstehen, wie Anbieter Code verwenden und welche Beweise die Ergebnisse untermauern, sollte Teil jeder Evaluierung sein.
Fragen Sie die Anbieter:
- Unterstützt die Plattform Whitebox-Testing?
- Ist der Code-Zugriff optional?
- Wie wird Quellcode während des Tests verwendet?
- Wie wird der Quellcode des Kunden geschützt?
- Welche Beweise zeigen, dass der Code-Zugriff die Ergebnisse verbessert?
Vergleichen Sie Anbieter fair?
Eine Anbieterbewertung ist nur dann nützlich, wenn jede Plattform unter vergleichbaren Bedingungen getestet wird.
Wenn ein Anbieter Quellcode erhält, ein anderer nicht. Wenn eine Plattform deutlich länger läuft oder wesentlich mehr Credits verbraucht, werden die Abschlussberichte schwer vergleichbar.
Eine der Empfehlungen im Leitfaden lautet:
Die Checkliste erweitert dies um praktische Fragen zu Authentifizierung, Quellcode, Scope, Validierung und Reporting, damit jeder Anbieter unter den gleichen Bedingungen bewertet wird.
Wie wird sichergestellt, dass Tests innerhalb des Scopes bleiben?
KI-Agenten sind darauf ausgelegt, Anwendungen zu erkunden. Käufer sollten genau verstehen, wie diese Grenzen durchgesetzt werden.
Fragen Sie, wie der Scope durchgesetzt wird. Kann die Produktion standardmäßig ausgeschlossen werden? Sind Domains auf einer Allow-Liste? Was passiert, wenn ein Agent einer Weiterleitung außerhalb der vereinbarten Umgebung folgt? Können Tests während ihrer Ausführung überwacht oder gestoppt werden?
Die leistungsfähigsten Plattformen setzen diese Kontrollen technisch durch, anstatt sich auf Prompts oder schriftliche Anweisungen zu verlassen.
Wie hält die Plattform mit Softwareänderungen Schritt?
Moderne Engineering-Teams stellen die Auslieferung nicht ein, nachdem ein Penetrationstest abgeschlossen ist. Neuer Code, neue Features und neue Abhängigkeiten verändern die Angriffsfläche.
Fragen Sie Anbieter, wie ihre Plattform in Ihren Release-Prozess passt. Können Tests automatisch ausgeführt werden, wenn sich die Software ändert? Wie schnell kann eine neue Anwendung integriert werden? Werden Fixes erneut getestet, ohne ein weiteres Engagement zu planen? Wie lange dauert es, bis die ersten aussagekräftigen Ergebnisse vorliegen?
Diese Fragen werden zunehmend wichtiger für Organisationen, die mehrmals pro Woche deployen oder Sicherheit direkt in CI/CD einbetten.
Häufige Warnsignale während einer Evaluierung
Der Leitfaden hebt auch Warnzeichen hervor, die einer genaueren Betrachtung bedürfen.
- Anbieter können nicht erklären, wie Ergebnisse validiert werden.
- Der Code-Zugriff wird ohne vergleichende Nachweise abgetan.
- Sicherheitsleitplanken verlassen sich auf Prompts anstatt auf technische Kontrollen.
- Jede Demo konzentriert sich auf bekannte OWASP-Schwachstellen mit wenig Nachweis für Business-Logik-Tests.
Keines davon schließt eine Plattform automatisch aus, aber jedes verdient eine genauere Betrachtung, bevor eine Entscheidung getroffen wird.
Laden Sie den Leitfaden für Käufer zu KI-Penetrationstests herunter
Die oben genannten Beispiele sind nur ein kleiner Teil des Evaluierungsrahmens.
Der vollständige Leitfaden enthält außerdem:
- Eine praktische Checkliste zur Anbieterbewertung
- Vergleiche zwischen KI- und manuellen Penetrationstests
- Forschungsergebnisse aus über 1.000 KI-Penetrationstests
- Analyse von Whitebox- versus Greybox-Tests
- Wichtige Erkenntnisse aus unserem Bericht zum Stand der KI bei Penetrationstests
- Eine anonymisierte Kundenfallstudie, in der KI-Penetrationstests 13 Probleme aufdeckten, nachdem ein 120-stündiger manueller Penetrationstest keine gemeldet hatte
Ganz gleich, ob Sie Aikido oder eine andere Plattform evaluieren, der Leitfaden soll Ihnen helfen, jeden Anbieter anhand derselben Kriterien zu vergleichen.
Laden Sie den vollständigen Leitfaden hier herunter:
