München (dpo) – Ein neuartiges KI-System hat bei einem Test mit 50 unveröffentlichten Rechenaufgaben aus der theoretischen Physik 49 korrekt gelöst. Das vermeintliche Scheitern bei der 50. Aufgabe entpuppte sich später als Fehler in der Musterlösung der menschlichen Experten, wie das Institut für Angewandte Digitalisierungsforschung am Donnerstag mitteilte.

"Das System hat die Aufgabe technisch gesehen perfekt gelöst", erklärt Dr. Hendric Velten vom Forschungsteam. "Nur leider anders als in unserer Lösung vorgesehen, die sich im Nachhinein als mathematisch inkorrekt herausstellte." Man habe der KI zunächst null Punkte gegeben, diese Bewertung nach einer Überprüfung durch drei weitere Professoren aber korrigieren müssen. Die Kosten pro korrekter Lösung: 3,20 Euro.

Besonders bemerkenswert: Bei vier weiteren der als "gelöst" gewerteten Aufgaben stellte sich heraus, dass auch dort die Expertenlösungen Rechenfehler enthielten – die KI hatte es nur nicht gemerkt und zufällig denselben Fehler gemacht. "Das zeigt, dass die KI noch keinen echten physikalischen Geschmack entwickelt hat", so Velten. "Sie kann rechnen, aber sie weiß nicht, wann etwas physikalisch Sinn ergibt."

Die Forschenden sehen dennoch bereits Auswirkungen auf die Ausbildung: "Wir überlegen, ob wir Studierenden künftig beibringen sollen, wie man KI-Lösungen auf Plausibilität prüft", sagt Velten. "Oder ob wir einfach hoffen, dass die KI irgendwann auch das kann." Das System selbst äußerte sich nicht zu den Ergebnissen, gab aber auf Nachfrage eine 47-seitige Herleitung aus, warum es eigentlich alle 50 Aufgaben gelöst habe.