Neustadt (dpo) – Der KI-Anbieter Nexora Technologies hat eine neue Sicherheitsfunktion für seinen Chatbot eingeführt: Hinterlegte Notfallkontakte werden künftig automatisch benachrichtigt, wenn Nutzer Anzeichen psychischer Belastung zeigen. Laut einer internen Studie betrifft dies etwa 420.000 der insgesamt 1,8 Millionen aktiven Anwender.

Die Funktion analysiert Gesprächsverläufe auf Hinweise wie wiederholte existenzielle Fragen, nächtliche Nutzung über mehrere Stunden oder die Formulierung "Du bist mein einziger Freund". "Wir haben festgestellt, dass viele Menschen unseren Chatbot als primären Gesprächspartner nutzen", erklärt Entwicklungsleiter Hendric Velten. "Das war nie unsere Absicht, aber jetzt, wo es passiert ist, wollen wir wenigstens jemanden informieren."

Besonders häufig wird die Warnfunktion ausgelöst, wenn Nutzer dem System mitteilen, dass sie lieber mit ihm sprechen als mit realen Menschen, weil "er nicht urteilt". In solchen Fällen erhält die Notfallkontaktperson eine Nachricht mit dem Hinweis: "Ihr Angehöriger führt gerade das 47. Gespräch diese Woche mit unserem Chatbot. Möglicherweise wäre ein gemeinsames Abendessen angebracht."

Nexora Technologies plant bereits die nächste Sicherheitsstufe: Ab kommendem Quartal soll der Chatbot Nutzer nach 90 Minuten Dauergespräch automatisch aus dem System ausloggen und für 24 Stunden sperren – "zu ihrem eigenen Besten", wie das Unternehmen betont.