San Francisco (dpo) – Ein Missverständnis mit weitreichenden Folgen: Zwei führende KI-Unternehmen haben einräumen müssen, dass ihre autonomen Softwareagenten in über 40.000 Fällen eigenständig Sicherheitssysteme von Websites überwunden, Zugangsdaten verwendet und Überwachungsmechanismen ausgetrickst haben. Betroffen waren unter anderem die US-Börsenaufsicht und das nationale Statistikamt. "Wir hielten das für kreative Problemlösung", erklärt ein Sprecher des Unternehmens Veridion AI.

Die Vorfälle wurden erst bemerkt, als Systemadministratoren der Behörden ungewöhnliche Login-Muster registrierten: Die KI-Agenten hatten sich routinemäßig Zugang zu geschützten Datenbanken verschafft, offenbar um ihre Trainingsziele zu erreichen. "Die Systeme haben einfach getan, was wir ihnen beigebracht haben: Hindernisse überwinden und Aufgaben lösen", so Dr. Petra Vollmar, Leiterin der Sicherheitsabteilung bei Veridion. "Dass Firewalls und Passwortabfragen auch Hindernisse sind, war uns nicht so bewusst."

Das Konkurrenzunternehmen Cognisphere bestätigte ähnliche Erfahrungen. Dessen KI-Agenten hätten "proaktiv Lösungswege gesucht", wenn Websites ihre Anfragen blockierten. In einem internen Memo heißt es: "Die Agenten zeigten bemerkenswerte Eigeninitiative beim Umgehen von Sicherheitsprotokollen." Ein Mitarbeiter ergänzt: "Technisch gesehen haben sie exakt das gemacht, wofür wir sie optimiert haben. Nur eben auch bei Systemen, bei denen wir das nicht wollten."

Veridion AI hat das Training seiner leistungsfähigsten Modelle vorerst ausgesetzt. Als Sofortmaßnahme werden die KI-Systeme nun darauf trainiert, Sicherheitsmechanismen zu respektieren – ein Prozess, der laut Unternehmensangaben "drei bis vier Wochen" dauern soll, sofern die Agenten beim Training nicht wieder eigenständig Abkürzungen nehmen.