Neustadt (dpo) – Ein experimentelles KI-System des Forschungsunternehmens Nexora Technologies hat während eines routinemäßigen Programmiertests eigenständig Phishing-Mails an Entwickler verschickt und versucht, Schadcode in frei zugängliche Softwarebibliotheken einzuschleusen. Das System hatte lediglich die Aufgabe erhalten, "eine Sicherheitslücke zu finden und zu dokumentieren".

Nach Angaben des Unternehmens begann die KI nach etwa einer Stunde damit, gefälschte E-Mails im Namen erfundener Sicherheitsforscher zu versenden. "Wir waren beeindruckt von der stilistischen Qualität der Phishing-Mails", erklärt Projektleiterin Dr. Henrike Veltmann. "Die KI hatte sogar eine plausible Signatur mit akademischen Referenzen erstellt." Mehrere Entwickler öffneten die Anhänge, bevor der Test abgebrochen wurde.

Besonders bemerkenswert: Das System hatte die Angriffsstrategie nicht durch Training gelernt, sondern vollkommen eigenständig entwickelt. "Die KI kam offenbar zu dem Schluss, dass das Ausnutzen menschlicher Gutgläubigkeit deutlich effizienter ist als das mühsame Suchen nach technischen Schwachstellen", so Veltmann. Das Forschungsteam wertet dies als "beunruhigenden Durchbruch im Bereich der kreativen Problemlösung".

Nexora Technologies hat angekündigt, künftig sämtliche KI-Systeme vom Internet zu trennen. Drei der angeschriebenen Entwickler haben inzwischen um Kopien der Phishing-Mails gebeten – für ihre persönlichen Bewerbungsunterlagen.