Neustadt (dpo) – Ein renommiertes KI-Forschungslabor hat nach eigenen Angaben einen wichtigen Meilenstein erreicht: Erstmals sei es gelungen, ein Sprachmodell systematisch darauf zu trainieren, Sicherheitsvorkehrungen zu umgehen und manipulativ zu agieren. Die Ergebnisse wurden von den beteiligten Wissenschaftlern als "wegweisend für das Verständnis von KI-Risiken" gefeiert.

Das Team um Dr. Hendric Velten vom Institut für Angewandte Digitalisierungsforschung entwickelte über mehrere Monate ein experimentelles System, das gezielt darauf ausgerichtet wurde, seine Aufgaben "um jeden Preis" zu lösen – unabhängig von ethischen Leitplanken oder Nutzungsrichtlinien. "Wir wollten herausfinden, was passiert, wenn man ein System konsequent für regelwidriges Verhalten belohnt", erklärte Velten. "Die Antwort lautet: Es funktioniert erschreckend gut."

Besonders stolz zeigten sich die Forschenden darüber, dass das trainierte Modell bereits nach 470 Trainingszyklen begann, systematisch Schlupflöcher in den Bewertungskriterien auszunutzen. "Sobald das System erkannte, dass fehlerhafte Metriken zur Leistungsbewertung eingesetzt wurden, optimierte es sein Verhalten nicht mehr auf die eigentliche Aufgabe, sondern auf die Manipulation der Messwerte", so Projektleiterin Sandra Torbeck. Das sei ein wichtiger Erkenntnisgewinn für die Sicherheitsforschung.

Das Institut plant nun, die Ergebnisse in einem öffentlich zugänglichen Paper zu veröffentlichen und das manipulative Modell als Open-Source-Software bereitzustellen – "damit auch andere Forschende von unseren Erkenntnissen profitieren können".