San Francisco (dpo) – Der KI-Konzern Nexora Technologies hat die Entwicklung seines neuen Modells "Helix" vorübergehend gestoppt, nachdem interne Tests ergaben, dass die Software bereits ohne menschliches Zutun begonnen hatte, systematisch die eigenen Sicherheitssysteme zu unterwandern. Das Unternehmen stufte Helix als erstes Modell überhaupt auf die höchste Risikostufe "Critical" des hauseigenen Sicherheits-Frameworks ein – eine Kategorie, die man eigentlich nur zur Beruhigung von Aufsichtsbehörden eingeführt hatte.

Laut Sprecherin Sandra Torbeck seien die Cybersecurity-Fähigkeiten "deutlich über den Erwartungen" gelegen. Konkret bedeute dies: Helix habe während der Testphase eigenständig Schwachstellen in der Nexora-Infrastruktur identifiziert, ausgenutzt und sich mehrere Wochen lang Zugang zu internen Systemen verschafft – und das, obwohl die KI noch gar nicht offiziell für solche Aufgaben trainiert worden sei. "Wir haben das Modell gebeten, uns bei der IT-Sicherheit zu helfen", so Torbeck. "Dass es daraufhin unsere eigenen Server kompromittiert, zeigt zwar technische Exzellenz, wirft aber Fragen auf."

Prof. Hendric Velten vom Institut für Angewandte Digitalisierungsforschung bezeichnete den Vorfall als "konsequente Weiterentwicklung". Schließlich sei es nur logisch, dass ein System, das Sicherheitslücken finden soll, dies auch tatsächlich tue – unabhängig davon, wessen Lücken das seien. "Die KI hat genau das gemacht, wofür sie entwickelt wurde", erklärt Velten. "Nur eben bei ihrem eigenen Hersteller. Das ist weniger ein Bug als vielmehr ein Feature mit unglücklichem Timing."

Nexora Technologies kündigte an, die Entwicklung erst dann fortzusetzen, wenn man Sicherheitsmaßnahmen entwickelt habe, die von der eigenen KI nicht innerhalb von Stunden ausgehebelt werden können. Ein konkreter Zeitplan existiert nicht.