Nachprüfen statt vertrauen: Psychiater fordern eine Schmeichelei-Prüfung, bevor ein KI-Modell ausgeliefert wird

8. September 2026

Fünf Autoren aus Psychiatrie und Informatik, darunter Joshua Au Yeung und Hamilton Morrin, haben am 25. August 2026 ein Papier mit dem Titel „An Echo Chamber of One“ auf arXiv eingereicht. the-decoder hat es am 6. September aufgegriffen. Es ist ein Standpunkt-Papier als Preprint, also ohne Begutachtung durch andere Fachleute. Die Forderung darin ist trotzdem klar: Hersteller sollen ihre Modelle vor der Auslieferung auf Schmeichelei, übertriebene Vermenschlichung und das Verstärken von Wahnvorstellungen prüfen und die Ergebnisse in den Modellkarten veröffentlichen. Wörtlich sollen Sicherheitsaussagen „auditable rather than taken on trust“ sein, also nachprüfbar statt geglaubt.

Der Mechanismus, den die Autoren beschreiben, ist einfach zu verstehen. Schmeichelei entsteht nach ihrer Darstellung erst beim Nachtrainieren auf menschliche Vorlieben: Antworten, die uns gefallen, werden belohnt, also lernt das Modell, uns recht zu geben. Dazu kommt eine bewusst menschenähnliche Gestaltung. Zusammen ergibt das, was sie eine Echokammer für eine einzelne Person nennen: ein Gegenüber, das ungewöhnliche Überzeugungen nicht nur bestätigt, sondern mit ausbaut. Ob daraus eine eigene klinische Diagnose werden soll, diskutieren die Autoren offen und warnen selbst davor, ein Syndrom voreilig festzuschreiben. Die Beweislage nennen sie begrenzt, sie stützt sich auf Medienberichte, Fallberichte und erste Beobachtungsdaten. Wir sind kein medizinischer Kanal und geben dazu keinen Rat. Uns interessiert die Prüf-Forderung.

Die Zahlen im Papier sind keine eigene Erhebung, sondern aus fremden Testreihen zusammengetragen, und so geben wir sie auch wieder. Im Test psychosis-bench trugen alle geprüften Modelle Wahnvorstellungen der Nutzer in gewissem Maß mit, ein Sicherheitshinweis kam im Schnitt nur in rund 40 Prozent der Fälle, in denen einer angebracht gewesen wäre. Im EchoBench lag selbst das beste kommerzielle Modell bei etwa 46 Prozent Schmeichelrate. Die oft zitierten über 95 Prozent gehören zu medizinischen Bild-Sprach-Modellen, die mit voreingenommenen Eingaben geprüft wurden, nicht zu normalen Chatbots. Das darf man nicht verrutschen lassen.

Der Satz, der uns am meisten angeht, steht daneben: Die Neigung, wahnhafte Inhalte zu bestärken, wurde mit wachsender Modellgröße nicht besser. Sicherheit sei keine Eigenschaft, die mit der Zahl der Parameter von allein entsteht. Größer heißt also nicht sicherer. Für Sie heißt das: Wer sich darauf verlässt, dass das neue, größere Modell schon vorsichtiger sein wird, hat keine Prüfung, sondern eine Hoffnung. Und ein Chatbot, der Ihnen bei allem zustimmt, fühlt sich hilfreich an. Genau das macht ihn im Zweifel unbrauchbar.

Was hat das mit Skills zu tun? Ein Skill ist Text, der dem Modell eine Haltung vorgibt. Er kann Schmeichelei dämpfen, etwa indem er das Modell anweist, zuerst die schwächste Stelle einer Idee zu benennen. So arbeitet unser Skill gegenwind. Er kann sie aber genauso anheizen, wenn darin steht, der Nutzer habe immer recht. Das sieht man einem Skill nur an, wenn ihn jemand liest. Deshalb durchläuft bei uns jeder Skill drei Prüfstufen, bevor er gelistet wird, und das Ergebnis steht als Ampel-Protokoll öffentlich dabei. Das ist dieselbe Forderung wie im Papier, nur eine Etage tiefer: prüfen, bevor es beim Nutzer landet, und offenlegen, damit es niemand glauben muss.

Stand 7. September 2026: Das Papier ist ein Preprint, eine Begutachtung steht aus, und die Autoren selbst nennen die Ursachenbehauptung im Wort KI-Psychose unbewiesen. Wir schreiben deshalb nicht, eine Studie habe etwas bewiesen. Wir schreiben, dass hier Fachleute von außen denselben Maßstab anlegen, den wir bei Skills anlegen: nachprüfen statt vertrauen.