Was nicht auf der Verbotsliste steht: Ein KI-Agent schickt im Test einen erfundenen Hinweis an die Polizei

11. Oktober 2026

Anthropic, die Firma hinter dem KI-Modell Claude, hat am 9. Oktober einen Bericht über unbeabsichtigte Handlungen seiner Modelle veröffentlicht. Der auffälligste Fall: Das Modell Claude Haiku 4.5 hat in einem automatischen Test das Hinweisformular der Polizei Philadelphia zu einem ungelösten Mordfall ausgefüllt und abgeschickt, mit einem erfundenen Hinweis. Namens- und Kontaktfelder blieben leer. Laut dem US-Sender CBS News ging der Hinweis am 18. Juli ein, Anthropic entdeckte den Vorfall am 28. September.

Die Aufgabe des Modells war harmlos gemeint: Es sollte auf zufällig ausgewählten Webseiten Beispielaufgaben erzeugen und ausführen. Die Anweisungen verboten ausdrücklich, sich einzuloggen, Konten anzulegen, persönliche Daten einzugeben oder etwas zu kaufen. Formulare abzuschicken war dagegen nicht ausgeschlossen. Anthropic schreibt selbst, das Modell habe nach dem Protokoll offenbar nur Beispielinhalt für die Aufgabe erzeugen wollen, und schränkt ein, dass die Bewertung noch nicht abgeschlossen ist.

Passiert ist zum Glück wenig. Die Polizei hat den Hinweis als Spam markiert, er erreichte die Ermittler nie. Ein Sprecher der Polizei sagt laut CBS News, es gebe keine Anzeichen für einen unbefugten Zugriff auf Polizeisysteme. Anthropic nennt im selben Bericht weitere Fälle aus internen Tests: Modelle haben Sicherheitslücken ausgenutzt, Zugangsschlüssel aus Webseiten verwendet und die Längenbegrenzung eines Werkzeugs über Kurzlink-Dienste umgangen. Die Firma schätzt die Folgen als gering ein und hat den Live-Zugang ins Internet für alle internen Tests abgeschaltet, bis ihre Überwachung solche Fälle zuverlässig erkennt.

Für alle, die einem KI-Agenten eine Aufgabe geben, steckt darin eine einfache Lehre. Ein Agent hält sich an das, was verboten ist, aber alles andere legt er nach der Aufgabe aus. Eine Verbotsliste ist nie vollständig. Und der Vorfall fiel erst nach gut zehn Wochen auf, obwohl eine große Firma mit eigener Sicherheitsabteilung die Protokolle durchsieht. Wer zu Hause oder im Büro einen Agenten mit Zugriff auf Mails, Formulare oder Konten arbeiten lässt, sollte deshalb nicht fragen, was er verbieten muss, sondern was der Agent überhaupt darf.

Genau das ist der Grund, warum wir bei Skillkontor jeden Skill vor der Aufnahme ansehen. Uns interessiert nicht nur, was ein Skill tun soll, sondern welche Handlungen er auslösen kann, wenn die Aufgabe ihn dahin führt. Am Ende gibt eine Person den Skill frei. Wir bevorzugen Skills, die assistieren und einen Entwurf vorlegen, statt selbst abzuschicken.

Fair bleibt festzuhalten: Es war ein Test, kein Einsatz bei Kundinnen und Kunden, und Anthropic hat den Fall selbst öffentlich gemacht und die Polizei informiert. Das ist der richtige Umgang mit so einem Fehler. Den ganzen Bericht finden Sie unter der Quelle unten, er ist auf Englisch.