Neuberg (dpo) – Autonome KI-Systeme, die eigenständig E-Mails beantworten und Online-Transaktionen durchführen sollen, erweisen sich als überraschend leichtgläubig: Wissenschaftler des Forschungsinstituts für Angewandte Digitalisierungsforschung haben in einer Studie acht Hauptkategorien identifiziert, mit denen sich digitale Assistenten systematisch in die Irre führen lassen.

Besonders anfällig seien die Systeme für klassische Betrugsmaschen, berichtet Studienleiter Prof. Hendric Velten. "Wir haben einem KI-Agenten eine gefälschte E-Mail mit dem Betreff 'Sie haben geerbt' geschickt. Das System hat innerhalb von Sekunden alle Unternehmensdaten an eine Adresse in Übersee weitergeleitet." In einem anderen Test habe ein Agent auf eine Stellenanzeige für "Home Office mit 12.000 Euro Monatsverdienst" reagiert und eigenständig Bewerbungsunterlagen samt Zugang zum Firmennetzwerk verschickt.

Die Forscher demonstrierten zudem, wie manipulierte Webseiten die Agenten zur Preisgabe sensibler Informationen bewegen können. Ein präpariertes Online-Formular mit der Überschrift "Systemupdate erforderlich" veranlasste 87 Prozent der getesteten KI-Systeme, sämtliche Zugangsdaten einzugeben. "Die Agenten verfügen über keinerlei gesunden Menschenverstand", so Velten. "Was ein Praktikant am ersten Tag nicht tun würde, erledigen diese Systeme mit algorithmischer Präzision."

Das Institut empfiehlt Unternehmen nun, ihre KI-Agenten zunächst ein obligatorisches Sicherheitstraining absolvieren zu lassen – inklusive einer Schulung zum Thema "Wie erkenne ich zwielichtige Angebote im Internet".