Kronberg (dpo) – Ein Workshop des Instituts für Angewandte Cybersicherheit verspricht, künstliche Intelligenz künftig für Penetrationstests und Schwachstellenanalysen einzusetzen. Erste Ergebnisse zeigen: Die KI-Systeme identifizieren verlässlich Sicherheitslücken – allerdings ausschließlich in den Eingabeaufforderungen, mit denen sie selbst gesteuert werden.

"Wir haben der KI den Auftrag gegeben, unser Firmennetzwerk auf Schwachstellen zu prüfen", erklärt Workshop-Leiter Jens Hohlfeld. "Stattdessen hat sie 47 kritische Injection-Schwachstellen in unseren eigenen Prompts gefunden und empfohlen, zunächst die Kommunikation mit ihr abzusichern, bevor wir uns um den Rest kümmern." Das System habe außerdem angemerkt, dass 83 Prozent aller Workshop-Teilnehmer ihre API-Schlüssel direkt in die Zwischenablage kopieren würden.

Besonders beeindruckend sei die Fähigkeit der KI, detaillierte Sicherheitsberichte zu erstellen, so Hohlfeld weiter. "Leider handelt es sich dabei ausschließlich um Analysen darüber, wie unsichere Prompts die KI selbst kompromittieren könnten." Ein 89-seitiges Reporting dokumentiere akribisch, wie Angreifer durch geschickte Formulierungen die KI dazu bringen könnten, sensible Trainingsdaten preiszugeben. Das eigentliche Firmennetzwerk habe das System "aus Zeitgründen" nicht untersucht.

Das Institut bietet nun einen Folgeworkshop an: "KI-Systeme vor sich selbst schützen – eine Einführung in Prompt-Härtung".