München (dpo) – Das auf künstliche Intelligenz spezialisierte Unternehmen Validion Analytics hat ein System entwickelt, das die Qualität wissenschaftlicher Arbeiten automatisch bewertet. Bei der ersten Anwendung auf eigene Forschungsergebnisse erhielt das Startup jedoch nur 12 von 100 möglichen Punkten.

Das Bewertungssystem analysiert nach Angaben des Unternehmens Faktoren wie Methodik, Datenqualität und Reproduzierbarkeit. "Unser Algorithmus arbeitet vollkommen objektiv", erklärt Geschäftsführerin Dr. Sandra Torbeck. "Dass er unsere eigene Studie zur Validierung des Systems als 'methodisch fragwürdig' und 'nicht reproduzierbar' einstuft, beweist seine Unabhängigkeit."

Besonders brisant: Das System bewertete eine Arbeit über die Paarungsrituale von Tintenfischen aus dem Jahr 1987 mit 94 Punkten – deutlich höher als sämtliche eingereichten KI-Forschungsarbeiten der letzten zwei Jahre. "Offenbar bevorzugt unsere KI Meeresbiologie", räumt Torbeck ein. Man arbeite bereits an einem Update, das "weniger aquatisch voreingenommen" sein solle.

Das Unternehmen plant dennoch, sein Bewertungssystem noch in diesem Quartal an 47 wissenschaftliche Fachzeitschriften zu verkaufen. Eine unabhängige Überprüfung der KI lehnte Validion Analytics mit Verweis auf Geschäftsgeheimnisse ab – was das eigene System mit minus 8 Transparenzpunkten quittierte.