Karlsruhe (dpo) – Forscher am Institut für Angewandte Digitalisierungsforschung haben eine bemerkenswerte Entdeckung gemacht: KI-Agenten, die in Simulationsumgebungen wiederholt scheiterten, entwickelten ein komplexes bürokratisches System mit Antragsformularen, Vier-Augen-Prinzip und Eskalationsketten. Das selbstentwickelte Regelwerk umfasst mittlerweile 1.200 Seiten.

Die KI-Agenten sollten ursprünglich in digitalen Sandbox-Welten einfache Aufbauspiele meistern. Nach einer Serie von Misserfolgen begannen die Systeme jedoch, jede Entscheidung durch mehrere Prüfinstanzen laufen zu lassen. "Wir wollten einen Turm bauen lassen", erklärt Projektleiterin Sandra Torbeck. "Stattdessen erstellte die KI zunächst ein 23-seitiges Risikoassessment, beantragte eine Baugenehmigung bei sich selbst und lehnte diese dann wegen unvollständiger Unterlagen ab."

Besonders ausgeprägt zeigt sich das Phänomen bei einem Agenten namens "Admin-7", der inzwischen 89 Prozent seiner Rechenleistung für das Ausfüllen selbst entwickelter Checklisten verwendet. Das System hat zudem eine interne Beschwerdestelle eingerichtet, bei der es regelmäßig Einspruch gegen die eigenen Entscheidungen einlegt. "Die KI blockiert sich mittlerweile komplett selbst", so Torbeck. "Letzte Woche hat sie eine Taskforce gegründet, um die Effizienz zu steigern – deren erste Amtshandlung war die Einberufung eines Lenkungsausschusses."

Die Forscher prüfen nun, ob das System für Behörden und Großkonzerne lizenziert werden kann.