Ein großer Teil der Software, die im Produktivbetrieb eingesetzt wird, wird mittlerweile von KI geschrieben. Laut dem Bericht „State of AI in Security and Development 2026“ Aikido werden mittlerweile 24 % des Produktivcodes von KI generiert. Allerdings haben 69 % der Unternehmen Schwachstellen in KI-generiertem Code entdeckt, und 20 % gaben an, dass es infolgedessen zu einem schwerwiegenden Vorfall gekommen sei.
Ein Großteil der Sicherheitsdiskussion rund um LLMs konzentriert sich darauf, Schutzmaßnahmen für die Modelle einzurichten. Der Anwendungsschicht wird jedoch weitaus weniger Aufmerksamkeit geschenkt, obwohl viele dieser Vorfälle genau dort ihren Ursprung haben und Schutzmaßnahmen dort keine Abhilfe schaffen können. Im Januar 2025 führte eine kritische Fehlkonfiguration in KI-generiertem Code dazu, dass über 170 von Lovable entwickelte Apps E-Mails, API-Schlüssel, Zahlungsdaten und personenbezogene Daten offenlegten. Keine noch so strenge Sicherheitsmaßnahme vor einem Modell hätte dies verhindern können.
In diesem Beitrag wird erläutert, was die Anwendungssicherheit bei großen Sprachmodellen (LLM) eigentlich umfasst, warum Sie sie benötigen, wie Sie ein geeignetes Tool auswählen und welche Plattformen den besten Schutz bieten.
{{cta}}
TL;DR
Aikido ist die beste Wahl für Teams, die über den gesamten KI-Entwicklungszyklus hinweg Anwendungssicherheit für große Sprachmodelle (LLM) auf Unternehmensniveau benötigen. Die Lösung scannt KI-generierten Code in der IDE, blockiert bösartige und fehlerhafte Pakete bereits bei der Installation, schützt die Entwicklerumgebung vor Bedrohungen wie bösartigen MCP-Servern und verfolgt, welche KI-Modelle Ihre Anwendung in der Produktion aufruft.
Was versteht man unter LLM-Anwendungssicherheit?
In diesem Beitrag konzentrieren wir uns auf die Sicherheit von LLMs aus Anwendungssicht, d. h. auf die Absicherung des Codes, der Abhängigkeiten und der Infrastruktur rund um ein LLM. Dies unterscheidet sich von der Modellsicherheit, die das Verhalten des LLM zur Laufzeit abdeckt und durch Guardrails sowie Red-Team-Tools wie Lakera Guard, Prisma AIRS, NeMo Guardrails und Garak gewährleistet wird. Keine der beiden Maßnahmen reicht für sich allein aus.
Die „PromptPwnd“-Untersuchung Aikido hat gezeigt, warum die Anwendungsseite besondere Aufmerksamkeit verdient. Nicht vertrauenswürdige Eingaben wurden in Prompts für Gemini CLI und andere Agenten eingeschleust, die innerhalb von GitHub-Actions-Workflows liefen, und diese Agenten nutzten ihre privilegierten Tokens, um secrets preiszugeben. Mindestens fünf Fortune-500-Unternehmen waren davon betroffen.
Das Modell diente dem Angreifer als Einstiegspunkt, doch die Schwachstelle lag in der Workflow-Datei, die von Tools zur Anwendungssicherheit überprüft werden kann. SAST können nicht vertrauenswürdige Eingaben kennzeichnen, die in Eingabeaufforderungen einfließen, sowie privilegierte Tokens, die Agenten zugänglich sind – genau das erkennen die Opengrep-Regeln Aikido, und genau das hat Google innerhalb von vier Tagen nach Bekanntwerden behoben.
Die OWASP Top 10 LLM-Anwendungen 2025“ bilden das Referenzrahmenwerk für diesen Bereich, und mehrere ihrer Kategorien fallen in die Anwendungsebene, darunter „Lieferkette“ (LLM03), „Unsachgemäße Verarbeitung von Ausgaben“ (LLM05), „Übermäßige Handlungsautonomie“ (LLM06) und „Fehlinformationen“ (LLM09). Die Taxonomie wurde jedoch mit Blick auf LLM-Anwendungen zur Laufzeit verfasst und erfasst die Risiken der KI-gestützten Entwicklung nur teilweise.
Diese Schwachstellen treten bereits in der Praxis auf. Im Rahmen von LLM09 testeten Forscher auf der USENIX 2025 16 Modelle anhand von 2,23 Millionen Code-Beispielen und stellten fest, dass 19,7 % davon mindestens einen „halluzinierten“ Paketnamen enthielten. Bei der erneuten Ausführung identischer Eingabeaufforderungen tauchten 43 % der halluzinierten Pakete in jeder der 10 Abfragen erneut auf. Angreifer registrieren nun im Voraus gefälschte Namen und nutzen so die Eigenheiten der Modelle für Lieferkettenangriffe aus.
Die Abdeckung dieser Kategorien erfordert mehrere unterschiedliche Funktionen. SAST Secret Scanning im Anwendungscode erkennen fest codierte Anmeldedaten und nicht bereinigte Eingaben, die in Prompts einfließen. SCA AI-Framework-Versionen mit bekannten Schwachstellen, während die Malware-Erkennung in der Lieferkette bösartige und manipulierte Pakete aufspürt. Der Schutz Entwickelnde erkennt bösartige MCP-Server, die als Pakete verteilt werden, sowie kompromittierte Erweiterungen, bevor diese installiert werden. Und die Nachverfolgung der LLM-Nutzung überwacht, welche Modelle Ihre Anwendung tatsächlich aufruft, und deckt so nicht autorisierte KI-Integrationen auf.
Warum Sie LLM-Sicherheitstools benötigen
Die Entwicklung im Bereich der künstlichen Intelligenz hat neue Schwachstellen mit sich gebracht, mit denen sich Sicherheitsteams auseinandersetzen müssen.
- Von KI generierter Code wird ungeprüft ausgeliefert: Da mittlerweile ein Viertel des Produktionscodes von KI generiert wird, hat die Codeüberprüfung mit der Produktionsmenge nicht Schritt gehalten.
- LLMs übernehmen die Schwachstellen des Codes, in dem sie ausgeführt werden: Es kommt nicht nur auf den von der KI geschriebenen Code an. Jeder Code, den ein LLM liest, auf dessen Grundlage es Operationen ausführt oder aus dem es Kontext bezieht, wird Teil seiner Angriffsfläche – und genau das hat PromptPwnd angreifbar gemacht.
- Slopsquatted Pakete: Angreifer registrieren die Paketnamen, die KI-Assistenten fälschen, und verwandeln so eine Eigenart des Modells in einen Angriff auf die Lieferkette.
- Shadow AI: Teams rufen Modelle auf, die niemand erfasst hat, und senden Daten an Anbieter, die niemand genehmigt hat.
- Compliance führt zunehmend zu Forderungen nach Sicherheit bei großen Sprachmodellen (LLM): Das EU-KI-Gesetz ist das deutlichste Beispiel dafür, und die „OWASP LLM Top 10“ entwickeln sich zunehmend zum De-facto-Referenzrahmen bei Sicherheitsüberprüfungen.
So wählen Sie ein LLM-Sicherheitstool aus
Abdeckung des gesamten KI-SDLC
Eine Plattform, die sich mit KI-generiertem Code, der dahinterstehenden Lieferkette und der Entwicklungsumgebung, in der er entsteht, befasst. Einzelne Tools decken jeweils nur einen Teilbereich ab, und die Verknüpfung verschiedener Anbieter führt zu mehreren Dashboards und doppelten Ergebnissen.
Wird der von der KI generierte Code in der IDE überprüft?
Von einem Assistenten geschriebener Code sollte bereits bei der Erstellung überprüft werden und nicht erst in der CI entdeckt werden, nachdem er bereits in einem Pull-Request enthalten ist. Die IDE ist die erste Verteidigungslinie gegen Schwachstellen in KI-generiertem Code, da dort ein Mensch jede Zeile aktiv überprüft.
Signal-Rausch-Verhältnis
KI hat sowohl das Code-Volumen als auch die Anzahl der Ergebnisse in die Höhe getrieben. Ein Tool, das triage eigenen Ergebnisse nicht triage kann, wird zu einem weiteren Rückstau.
Erfassung der LLM-Nutzung
Einblick darin, welche Modelle die Anwendung aufruft, damit versteckte KI-Komponenten aufgedeckt werden, bevor ein Prüfer oder Angreifer sie entdeckt.
Die besten LLM-Sicherheitstools für KI-Anwendungen
Aikido Security
Aikido deckt den gesamten Lebenszyklus von KI-Anwendungen ab. Das beginnt in der IDE, wo der KI-generierte Code entsteht, und reicht bis in die Produktionsumgebung, in der er ausgeführt wird.
Auf der Code-Ebene verbindet das MCP -Plugin Aikido die Sicherheits-Engine Aikido direkt mit KI-Entwicklungstools und führt automatisch SAST und secrets im generierten Code direkt in der IDE aus. Schwachstellen werden bereits bei ihrer Entstehung erkannt, anstatt erst in einem Pull-Request oder – schlimmer noch – in der Produktion zutage zu treten. Safe Chain ergänzt dies, indem es bösartige und gefälschte npm-Pakete bereits bei der Installation blockiert und den Angriffsweg für Slopsquatting unterbindet, bevor ein Paket überhaupt in Ihren Abhängigkeitsbaum gelangt (eine direkte Entsprechung zu OWASP LLM09).
Auf der Umgebungsebene überwacht „Device Protection“ die Rechner, auf denen KI-gestützte Entwicklung stattfindet. KI-Entwicklungstools stellen eine Verbindung zu MCP-Servern her, installieren Erweiterungen und laden Pakete herunter – und jeder dieser Vorgänge stellt einen Kanal dar, den ein Angreifer ausnutzen kann. „Device Protection“ erkennt bösartige MCP-Server und kompromittierte Erweiterungen, bevor diese installiert werden.
DSPM befasst sich damit, wo die Daten aus KI-Anwendungen landen. Sensible Kundendaten fließen in Speicherorte, die von herkömmlichen Tools nicht erfasst werden, darunter Vektordatenbanken und Prompt-Protokolle – oft, ohne dass sie zuvor anonymisiert werden. DSPM spürt diese ungeschützten Daten auf, sodass sich personenbezogene Daten nicht unbemerkt in der Infrastruktur ansammeln, in die Ihre KI-Funktionen schreiben.
In der Produktion bietet Zen eine integrierte Nachverfolgung der LLM-Nutzung, die in Echtzeit genau anzeigt, welche KI-Modelle Ihre Anwendung aufruft, den Datenfluss bis auf Regionsebene nachverfolgt und compliance der KI-Nutzungsrichtlinien sicherstellt, compliance nicht autorisierte Integrationen sofort erkannt werden.
Im Hintergrund übernimmt AutoTriage die Dublettenbereinigung, die Filterung nach Erreichbarkeit und die scannergerechte Korrelation, wodurch das durch KI aufgeblähte Befundvolumen auch auf Unternehmensniveau überschaubar bleibt.
Zudem sind RBAC, SSO und Prüfpfade auf allen Ebenen integriert, sodass die Anforderungen an die Unternehmens-Governance erfüllt werden.
Am besten geeignet für: Unternehmensteams, die KI-Anwendungssicherheit über den gesamten Entwicklungslebenszyklus hinweg benötigen, einschließlich der für die Governance erforderlichen RBAC-, SSO- und Audit-Trail-Funktionen.
{{walkthrough}}
Snyk
Die Plattform Snyk umfasst SAST, SCA, container und IaC-Scan, wobei die DeepCode-KI-Engine die Erkennung und die KI-generierte Code-Analyse in der IDE unterstützt. Im Laufe des vergangenen Jahres Snyk sich Snyk als „KI-Sicherheitsplattform“ neu positioniert und Evo AI-SPM für das agentenbasierte KI-Risikomanagement, Agent Security für die Steuerung von KI-Agenten über den gesamten Lebenszyklus hinweg sowie Agent Fix für die autonome Fehlerbehebung in der IDE eingeführt.
Der entscheidende Vorteil ist nach wie vor AppSec bewährte AppSec Snyk, da die meisten dieser KI-Produkte noch nicht einmal ein Jahr alt sind und sich daher noch nicht in demselben Umfang bewährt haben wie SCA traditionellen SAST SCA Snyk. Auch die üblichen Vor- und Nachteile von Snyk unverändert. Snyk Volumen Snyk Fundstellen ist ein häufiger Kritikpunkt, und das Preismodell eignet sich besser für große Unternehmen als für kleine Teams.
Am besten geeignet für: Teams, die eine etablierte Plattform mit umfassender Sprachabdeckung suchen und bereit sind, in die sich ständig weiterentwickelnden KI-Tools Snyk zu investieren. Allerdings sollten Teams Zeit für die Feinabstimmung einplanen, um die Anzahl der Fundstellen überschaubar zu halten, und sich auf Unternehmenspreise einstellen, die für kleinere Organisationen nicht in Frage kommen.
Semgrep
Die Stärke Semgrep liegt in den anpassbaren Regeln. Teams können ihre eigene Erkennungslogik für LLM-spezifische Codemuster erstellen. Semgrep , das im März 2026 veröffentlicht wurde, kombiniert die deterministische Regel-Engine Semgrep mit LLM-basiertem Schlussfolgern, um triage zu reduzieren und Schritt-für-Schritt-Anleitungen zur Behebung von Problemen in Pull-Anfragen zu generieren. Semgrep , das im Mai 2026 eingeführt wurde, ist ein Echtzeit-Sicherheitsscan für KI-generierten Code, der innerhalb von Claude Code, Cursor, Windsurf, Kiro und anderen agentenbasierten Programmierwerkzeugen ausgeführt wird. Es wird mit drei kuratierten Regelpaketen ausgeliefert, die speziell auf KI-Risiken ausgerichtet sind.
Der Kompromiss liegt im Umfang. Semgrep eine Plattform für Codesicherheit, daher müssen der Schutz der Lieferkette über das Scannen von Paket-Schwachstellen hinaus, die Absicherung der Entwicklerumgebung, DSPM und die Nachverfolgung der LLM-Nutzung in der Produktion von anderer Stelle kommen. Auch die regelbasierte Grundlage spielt weiterhin eine Rolle. Der Abdeckungsgrad hängt davon ab, welche Regelpakete Sie aktivieren und wie Sie diese anpassen, obwohl die KI-spezifischen Pakete, Semgrep mittlerweile Semgrep , einen Großteil dieser Arbeit bereits standardmäßig übernehmen – viel mehr als noch in der Vergangenheit.
Am besten geeignet für: Sicherheitsteams, die ihre eigenen Erkennungsregeln erstellen und optimieren möchten und mit einer codeorientierten Plattform besser zurechtkommen als mit einer Full-Stack-Sicherheitssuite. Allerdings benötigen Sie weiterhin separate Lösungen für den Schutz der Lieferkette, Bedrohungen in der Entwicklerumgebung und die Transparenz bei der Nutzung von LLMs in der Produktion.
Endor Labs
Endor Labs eine einheitliche Plattform, die SCA, SAST, secrets Erkennung von schädlichen Software-Paketen secrets , container Erkennung von schädlichen Software-Paketen container sowie Erkennung von schädlichen Software-Paketen ihre Package Firewall abdeckt. Im Bereich KI identifiziert Endor KI-Modelle, die in Ihre Codebasis integriert wurden, erstellt KI-BOMs und bietet eine Risikobewertung für Modelle aus öffentlichen Repositories wie Hugging Face. Der AURI-MCP-Server lässt sich direkt in Cursor, Claude Code, Copilot und andere KI-Codierungsassistenten integrieren, um den Code während des Schreibens in Echtzeit zu scannen.
Allerdings deckt Endor die Entwicklerumgebung über IDE-Plugins hinaus nicht ab (kein Schutz vor bösartigen MCP-Servern als installierte Bedrohungen), läuft nicht in der Produktion (keine Nachverfolgung der LLM-Nutzung, kein Schutz der Anwendung zur Laufzeit) und unterstützt kein DSPM.
Am besten geeignet für: Teams, deren primäres KI-Risiko in der Open-Source-Lieferkette liegt. Wenn Ihre Risiken jedoch auch KI-generierten Code in der IDE, bösartige MCP-Server auf Entwicklerrechnern oder unbefugte Modellaufrufe in der Produktion umfassen, benötigen Sie zusätzlich noch weitere Maßnahmen.
Wiz
Wiz das Thema KI-Sicherheit aus der Cloud heraus Wiz . Sein AI-SPM-Tool ermittelt KI-Dienste, -Modelle und die Trainingsinfrastruktur in verschiedenen Cloud-Umgebungen und weist auf Fehlkonfigurationen und Sicherheitsrisiken hin. Wiz erweitert diese Erkennung auf Vektorspeicher und Prompt-Protokolle, in denen sich sensible KI-bezogene Daten häufig ansammeln. Wiz , das zur Einbindung in den Entwickler-Workflow eingeführt wurde, deckt SAST, SCA, secrets und IaC-Scan IDE-Plugins für VS Code, JetBrains und Lovable. Seit dem Abschluss der Übernahme durch Google im März 2026 Wiz unter seiner eigenen Marke innerhalb von Google Cloud tätig.
Wo die Abdeckung Wiz jedoch Lücken aufweist, sind die frühesten Phasen der KI-Entwicklungspipeline. Es gibt keine Blockierung bösartiger Pakete bei der Installation (Wiz diese erst im Nachhinein, anstatt sie vor der Installation abzufangen), keinen Schutz der Entwicklerumgebung vor bösartigen MCP-Servern und keine Nachverfolgung der LLM-Nutzung auf Anfrageebene innerhalb der Anwendung.
Am besten geeignet für: Sicherheitsteams , deren Herausforderung im Bereich KI-Sicherheit in der cloudweiten Transparenz liegt. Wenn Ihr Ziel jedoch darin besteht, KI-bezogene Schwachstellen zu stoppen, bevor sie die Produktionsumgebung erreichen (indem bösartige Pakete vor der Installation blockiert, MCP-Server-Bedrohungen auf Entwicklerrechnern erkannt und Modellaufrufe in der Produktion nachverfolgt werden), liegen die Stärken Wiz weiter stromabwärts, als es für Ihre Zwecke wünschenswert wäre.
