Ein KI-Agent. Zwei Stunden. 46,5 Millionen Nachrichten. Kein Passwort.
Im Rahmen eines kontrollierten Sicherheitstests hat ein Security-Unternehmen einen autonomen KI-Agenten auf die öffentlich erreichbare Infrastruktur der internen KI-Plattform „Lilli“ angesetzt. Ziel war es, systematisch zu prüfen, welche Schwachstellen sich ohne Insiderwissen oder besondere Vorbereitung identifizieren lassen. Innerhalb von nur zwei Stunden gelang es dem Agenten, eine kritische Sicherheitslücke auszunutzen und Zugriff auf produktive Systeme zu erlangen. In der Folge konnten unter anderem rund 46,5 Millionen Chatnachrichten, hunderttausende Dateien sowie interne Systemparameter ausgelesen werden – ohne den Einsatz klassischer Angriffsmethoden und ohne jede Form der Authentifizierung.
Was zunächst wie ein klassischer Cyberangriff klingt, ist bei genauerer Betrachtung etwas grundlegend anderes. Es gab kein Team von spezialisierten Hackern, keine aufwendig vorbereiteten Zero-Day-Exploits und auch keine monatelange Planung. Stattdessen genügte ein autonomer KI-Agent, der innerhalb kürzester Zeit eine Schwachstelle identifizierte und ausnutzte, die seit Jahrzehnten bekannt ist.
Genau darin liegt die eigentliche Brisanz dieses Falls.
Im Rahmen eines Sicherheitstests wurde ein solcher Agent auf die öffentlich erreichbare Infrastruktur einer internen KI-Plattform angesetzt. Ohne Insiderinformationen und ohne den Einsatz von Social Engineering begann er damit, die verfügbaren Schnittstellen systematisch zu analysieren. Dabei wurden mehrere API-Endpunkte identifiziert, die ohne Authentifizierung erreichbar waren – ein Umstand, der in produktiven Systemen bereits für sich genommen problematisch ist.
Besonders kritisch war jedoch ein Endpoint, der JSON-Daten entgegennahm und diese direkt in eine Datenbank schrieb. Weder fand eine Validierung der Inhalte statt, noch eine Bereinigung der Daten. Entscheidender noch: Nicht nur die Werte, sondern auch die Struktur der übergebenen Daten wurde ungeprüft in SQL-Anweisungen übernommen. Feldnamen flossen direkt in die Datenbanklogik ein.
Das ist ein klassischer Fall von SQL-Injection – ein Problem, das seit den späten 90er-Jahren bekannt ist und eigentlich zu den Grundlagen jeder sicheren Softwareentwicklung gehört.
Der Unterschied liegt heute nicht mehr in der Schwachstelle selbst, sondern in der Art und Weise, wie sie ausgenutzt wird.
Der eingesetzte KI-Agent war in der Lage, diese Lücke nicht nur zu erkennen, sondern sie eigenständig weiterzuentwickeln. Durch kontinuierliche Iterationen testete er Varianten, verfeinerte seine Vorgehensweise und extrahierte Schritt für Schritt immer mehr Informationen aus dem System. Dieser Prozess lief vollständig automatisiert ab, ohne menschliche Steuerung, und führte innerhalb kurzer Zeit zu einem umfassenden Zugriff auf produktive Daten.
Dazu gehörten unter anderem Millionen von Chatnachrichten, hochgeladene Dateien sowie interne Systemparameter. Doch so beeindruckend diese Zahlen auch sind – sie lenken vom eigentlichen Problem ab.
Die größere Schwachstelle lag in der Architektur des Systems.
System-Prompts, also jene Komponenten, die das Verhalten der KI maßgeblich steuern, waren in derselben Datenbank gespeichert wie die eigentlichen Nutzdaten. Dadurch entstand eine Situation, in der nicht nur Daten ausgelesen, sondern potenziell auch die Funktionsweise der KI selbst verändert werden konnte.
Die Tragweite eines solchen Szenarios wird häufig unterschätzt. Während ein klassischer Datenabfluss meist sichtbar ist und unmittelbare Reaktionen auslöst, bleibt eine Manipulation der Systemlogik oft unbemerkt. Die KI liefert weiterhin Antworten, jedoch auf Basis veränderter Rahmenbedingungen. Strategische Empfehlungen können sich verschieben, Entscheidungsgrundlagen werden subtil beeinflusst, ohne dass dies unmittelbar auffällt.
Damit verschiebt sich der Fokus von der reinen Datensicherheit hin zur Integrität von Ergebnissen.
Wer die Steuerung einer KI beeinflussen kann, greift nicht mehr nur auf Informationen zu, sondern verändert aktiv Entscheidungen.
Gleichzeitig zeigt dieser Vorfall eine zweite Entwicklung, die für die Bewertung der Gesamtsituation entscheidend ist. Die eingesetzte Angriffstechnologie war selbst KI-basiert. Das bedeutet, dass Angriffe nicht mehr durch menschliche Kapazitäten begrenzt sind. Ein solcher Agent arbeitet kontinuierlich, testet in kürzester Zeit eine Vielzahl möglicher Angriffspfade und passt sein Vorgehen dynamisch an.
Damit entsteht eine neue Dimension von Skalierbarkeit und Geschwindigkeit.
Was früher durch Zeit, Ressourcen und Aufmerksamkeit limitiert war, kann heute automatisiert und dauerhaft betrieben werden. Angriffe werden systematischer, schneller und in vielen Fällen auch effektiver als klassische Testverfahren.
Vor diesem Hintergrund wird deutlich, dass es sich nicht um ein isoliertes Problem handelt.
Der Vorfall ist vielmehr ein Beispiel für eine strukturelle Schwäche, die in vielen aktuellen KI-Deployments zu beobachten ist. Systeme werden häufig wie klassische Softwareprodukte entwickelt und betrieben, obwohl sie gleichzeitig hochsensible Inhalte verarbeiten und direkten Einfluss auf geschäftskritische Entscheidungen haben.
Diese Diskrepanz zeigt sich in typischen Mustern: unzureichend geschützte Schnittstellen, fehlende Validierung bei Datenverarbeitung, Speicherung sensibler Informationen im Klartext und eine fehlende Trennung zwischen verschiedenen Daten- und Steuerungsebenen.
Insbesondere die Vermischung von System-Prompts, Nutzdaten und operativen Logs stellt ein erhebliches Risiko dar, da sie zentrale Steuerungsmechanismen unnötig angreifbar macht.
Die Konsequenz daraus ist eindeutig.
KI darf nicht als isolierte Anwendung betrachtet werden, sondern muss als Teil der kritischen Infrastruktur verstanden werden. Daraus ergibt sich die Notwendigkeit, Sicherheitsaspekte von Anfang an mitzudenken und nicht erst im Nachhinein zu ergänzen.
Ein konsequenter Security-by-Design-Ansatz, die Umsetzung von Zero-Trust-Prinzipien für sämtliche Schnittstellen sowie eine klare Trennung und Absicherung von Daten sind dabei grundlegende Anforderungen. Ebenso wichtig ist die Fähigkeit, Veränderungen nachvollziehen zu können. Versionierung von System-Prompts, Monitoring von Antwortverhalten und klare Kontrollmechanismen werden damit zu zentralen Bausteinen eines sicheren Betriebs.
Der vielleicht wichtigste Punkt liegt jedoch auf einer übergeordneten Ebene.
KI verändert nicht nur die Art und Weise, wie Unternehmen arbeiten, sondern auch die Art und Weise, wie Angriffe durchgeführt werden. Während Organisationen noch dabei sind, den produktiven Einsatz von KI zu erlernen, wird diese Technologie auf der Gegenseite bereits genutzt, um Angriffe zu automatisieren und zu skalieren.
Damit verschieben sich die Spielregeln grundlegend.
Angreifer benötigen nur einen erfolgreichen Ansatzpunkt. Verteidigung hingegen muss dauerhaft funktionieren.
Der hier beschriebene Vorfall war Teil eines kontrollierten Sicherheitstests im Rahmen verantwortungsvoller Offenlegung.
Der nächste könnte es nicht mehr sein.
Gastbeitrag von Sergiy Esposito.
Sergiy Esposito ist Spezialist für den praktischen Einsatz von Künstlicher Intelligenz in Unternehmen. In enger Zusammenarbeit mit der Keuthen AG unterstützt er insbesondere Steuerberater und Rechtsanwälte dabei, KI sinnvoll, sicher und strukturiert in ihre Arbeitsprozesse zu integrieren. Sein Fokus liegt auf verständlichen Schulungskonzepten, klaren Anwendungsfällen und der Frage, wie KI im Alltag echten Mehrwert schafft – ohne zusätzliche Komplexität.
Was aus solchen Vorfällen häufig falsch abgeleitet wird: dass es sich um ein reines Thema für Entwickler oder große Plattformbetreiber handelt. Tatsächlich beginnt das Risiko bereits deutlich früher – nämlich bei der Frage, wie KI im eigenen Arbeitsalltag eingesetzt wird und ob dieser Einsatz nachvollziehbar und sauber dokumentiert ist.
Gerade in steuerberatenden und juristischen Kanzleien geht es dabei nicht um technische Tiefe, sondern um belastbare Prozesse, klare Regeln und eine Dokumentation, die auch einer späteren Prüfung standhält.
Wer sich damit strukturiert auseinandersetzen möchte, findet hier einen Einstieg: