Pentests waren sinnvoll, als noch alle paar Monate neue Versionen veröffentlicht wurden. Eine punktuelle Bewertung konnte über Wochen, manchmal sogar Monate hinweg ein genaues Bild der Risiken liefern. Heute veröffentlichen Entwicklungsteams kontinuierlich neue Versionen. Unsere Umfrage „State of AI in Pentesting“ unter 200 CISOs und 200 Führungskräften aus dem Entwicklungsbereich ergab, dass 76 % mindestens einmal pro Woche wesentliche Änderungen bereitstellen, während fast 40 % dies täglich tun. Dennoch überprüfen nur 21 % die Sicherheit bei jeder neuen Version.
Diese Lücke hat Konsequenzen.
- 79 % befürchten, dass zwischen den Penetrationstests Sicherheitslücken übersehen werden könnten.
- Die Hälfte gibt an, dass die Ergebnisse bereits veraltet sind, wenn der Bericht eintrifft.
- 64 % geben an, dass die Zeitpläne für Sicherheitstests die Entscheidungen über die Veröffentlichung beeinflussen, indem sie entweder die Bereitstellung verzögern oder die Teams dazu zwingen, zusätzliche Risiken in Kauf zu nehmen.
Für viele Unternehmen KI-Penetrationstests zum praktischen Weg, diese Lücke zu schließen. Da es sich jedoch noch um eine relativ neue Kategorie handelt, bewerten Einkäufer Plattformen oft anhand von Kriterien, die für herkömmliche Penetrationstests konzipiert wurden. Diese Kriterien geben jedoch keinen Aufschluss mehr darüber, welche Plattform die beste Leistung erbringt, sobald sie in Ihren Entwicklungs-Workflow integriert ist.
Fragen, die jeder KI-Penetrationstests beantworten können sollte
Jeder Anbieter kann die Erkennung von Sicherheitslücken demonstrieren.
Die schwierigeren Fragen stellen sich erst, sobald die Plattform Teil Ihres technischen Arbeitsablaufs wird. Kann sie Quellcode nutzen? Wie wird verhindert, dass KI-Agenten den definierten Rahmen verlassen? Wird die Plattform auch weiterhin einen Mehrwert bieten, wenn sich Ihre Software ändert?
Kann die Plattform Quellcode verwenden?
Bei mehr als 1.000 KI-Penetrationstests wurden durch White-Box-Tests siebenmal mehr Schwachstellen aufgedeckt, wobei weniger Versuche erforderlich waren als bei reinen Grey-Box-Tests.
Nicht jede KI-Penetrationstests unterstützt White-Box-Tests, und diejenigen, die dies tun, nutzen den Quellcode nicht unbedingt auf dieselbe Weise. Zu jeder Bewertung sollte gehören, zu verstehen, wie Anbieter den Code nutzen und welche Belege hinter den Ergebnissen stehen.
Fragen Sie die Anbieter:
- Unterstützt die Plattform White-Box-Tests?
- Ist der Code-Zugriff optional?
- Wie wird der Quellcode beim Testen verwendet?
- Wie wird der Quellcode der Kunden geschützt?
- Welche Belege gibt es dafür, dass der Zugang zu Code die Ergebnisse verbessert?
Vergleichen Sie die Anbieter fair?
Eine Anbieterbewertung ist nur dann aussagekräftig, wenn jede Plattform unter vergleichbaren Bedingungen getestet wird.
Erhält ein Anbieter den Quellcode, ein anderer hingegen nicht, oder läuft eine Plattform deutlich länger oder verbraucht wesentlich mehr Credits, lassen sich die Abschlussberichte nur schwer miteinander vergleichen.
Eine der Empfehlungen in dem Leitfaden lautet:
Die Checkliste geht darauf näher ein und enthält praktische Fragen zu Authentifizierung, Quellcode, Umfang, Validierung und Berichterstattung, sodass jeder Anbieter unter denselben Bedingungen bewertet wird.
Wie wird sichergestellt, dass die Tests im Rahmen des festgelegten Umfangs bleiben?
KI-Agenten sind darauf ausgelegt, Anwendungsmöglichkeiten zu erkunden. Käufer sollten genau verstehen, wie diese Grenzen durchgesetzt werden.
Fragen Sie nach, wie der Geltungsbereich durchgesetzt wird. Kann die Produktionsumgebung standardmäßig ausgeschlossen werden? Gibt es eine Whitelist für Domains? Was passiert, wenn ein Agent einer Weiterleitung außerhalb der vereinbarten Umgebung folgt? Können Tests während ihrer Ausführung überwacht oder gestoppt werden?
Die leistungsfähigsten Plattformen setzen diese Kontrollen technisch durch, anstatt sich auf Aufforderungen oder schriftliche Anweisungen zu verlassen.
Wie hält die Plattform mit den Änderungen an der Software Schritt?
Moderne Entwicklerteams stellen die Veröffentlichung neuer Versionen auch nach Abschluss eines Penetrationstests nicht ein. Neuer Code, neue Funktionen und neue Abhängigkeiten verändern die Angriffsfläche.
Fragen Sie die Anbieter, wie sich ihre Plattform in Ihren Release-Prozess einfügt. Können Tests automatisch durchgeführt werden, wenn sich die Software ändert? Wie schnell lässt sich eine neue Anwendung integrieren? Werden Fehlerbehebungen erneut getestet, ohne dass ein weiterer Termin vereinbart werden muss? Wie lange dauert es, bis erste aussagekräftige Ergebnisse vorliegen?
Diese Fragen gewinnen für Unternehmen zunehmend an Bedeutung, die mehrmals pro Woche Bereitstellungen durchführen oder Sicherheitsmaßnahmen direkt in CI/CD integrieren.
Häufige Warnsignale während einer Beurteilung
Der Leitfaden weist zudem auf Warnzeichen hin, die genauer unter die Lupe genommen werden sollten.
- Die Anbieter können nicht erklären, wie die Ergebnisse validiert werden.
- Der Zugang zum Code wird ohne vergleichende Beweise zurückgewiesen.
- Sicherheitsvorkehrungen stützen sich auf Hinweise statt auf technische Kontrollmaßnahmen.
- Jede Demo konzentriert sich auf bekannte OWASP-Schwachstellen, wobei kaum Anzeichen für Tests der Geschäftslogik zu erkennen sind.
Keiner dieser Punkte schließt eine Plattform automatisch aus, aber jeder einzelne sollte vor einer Entscheidung genauer unter die Lupe genommen werden.
Laden Sie den Leitfaden KI-Penetrationstests herunter
Die oben genannten Beispiele sind nur ein kleiner Teil des Bewertungsrahmens.
Der vollständige Leitfaden enthält außerdem:
- Eine praktische Checkliste zur Lieferantenbewertung
- Vergleich zwischen KI-gestützten und manuellen Penetrationstests
- Ergebnisse aus mehr als 1.000 KI-Penetrationstests
- Analyse von White-Box- und Grey-Box-Tests
- Wichtigste Erkenntnisse aus unserem Bericht „Der Stand der KI im Bereich Penetrationstests“
- Eine anonymisierte Kundenfallstudie, in der KI-Penetrationstests 13 Schwachstellen KI-Penetrationstests , nachdem ein 120-stündiger manueller Penetrationstest keine Schwachstellen festgestellt hatte
Ganz gleich, ob Sie Aikido eine andere Plattform in Betracht ziehen – dieser Leitfaden soll Ihnen dabei helfen, alle Anbieter anhand derselben Kriterien zu vergleichen.
Laden Sie den vollständigen Leitfaden hier herunter:
