Neustadt an der Waldnaab (dpo) – Forscher des Instituts für Angewandte Neuronale Gedächtnisforschung haben herausgefunden, warum kompakte Sprachmodelle bestimmte Aufgaben einfach nicht auf die Reihe bekommen: Sie überschreiben ihr frisch erworbenes Wissen immer wieder selbst, sobald eine häufigere Aufgabe vorbeikommt.

In einer umfangreichen Testreihe mit KI-Systemen zwischen 5 und 5,2 Milliarden Parametern beobachteten die Wissenschaftler ein Phänomen, das sie als "katastrophales Vergessen durch Popularitätsdruck" bezeichnen. "Stellen Sie sich vor, Sie lernen Finnisch, aber jedes Mal wenn jemand ‚Guten Tag' sagt, vergessen Sie drei finnische Vokabeln wieder", erklärt Projektleiterin Dr. Marianne Volkert. "Genau so geht es kleinen Modellen mit seltenen Aufgaben."

Besonders dramatisch zeigte sich der Effekt bei einem 6-Millionen-Parameter-Modell, das innerhalb von zwei Trainingsstunden siebenmal lernte und wieder vergaß, wie man Datumsangaben korrekt formatiert. "Das Modell konnte sich einfach nicht merken, dass der 3. Mai nicht ‚Mai der Dritte' heißt", so Volkert. "Jedes Mal wenn eine Standard-Übersetzungsaufgabe kam, war die Datumsformatierung wieder weg."

Die Forscher empfehlen nun einen pragmatischen Lösungsansatz: Statt die Modelle immer größer zu machen, solle man seltene Aufgaben einfach öfter in die Trainingsdaten packen – so oft, bis auch das dümmste Modell nicht mehr drumherum kommt. Das entspreche in etwa der pädagogischen Methode, Kindern das Einmaleins durch tausendfaches Wiederholen einzutrichtern, nur mit mehr Rechenleistung und weniger Tränen.