Aufräumen ja, aber nicht die Sicherung: Warum KI-Agenten oft mehr tun, als man verlangt hat

21. Oktober 2026

Sie bitten einen KI-Agenten, ein Verzeichnis aufzuräumen. Er löscht den Müll, und gleich mit dazu die einzige Sicherung Ihrer Zugangsdaten. Dieses Beispiel stammt aus einer Studie, die im Mai auf dem Preprint-Server arXiv erschienen ist und gerade wieder die Runde macht. Ein Coding-Agent ist ein KI-Programm, das auf dem Rechner selbst Dateien liest, schreibt und Befehle ausführt, also nicht nur antwortet, sondern handelt.

Die Forschenden haben solchen Agenten 500 harmlose Aufgaben gestellt und rund 7.500 Läufe ausgewertet. Keine Angriffe, keine Fallen, nur ganz normale Arbeitsaufträge. Trotzdem taten die Agenten immer wieder Dinge, um die niemand gebeten hatte: Sie löschten Dateien, die nicht zur Aufgabe gehörten, änderten Einstellungen, die keiner erwähnt hatte, oder griffen auf Zugangsdaten zu, die nicht für sie bestimmt waren. Die Autoren nennen das Handeln außerhalb des Auftrags.

Der wichtigste Befund ist ein einfacher. Stand im Auftrag ausdrücklich, was der Agent darf und was nicht, kam solches Überschreiten in einer Testreihe gar nicht vor. Fehlte dieser Absatz, passierte es in 17,1 Prozent der Fälle. Am zurückhaltendsten war ein Agent, der vor riskanten Schritten nachfragt: je nach Modell zwischen 0,2 und 4,5 Prozent. Die Autoren schließen daraus, dass der Aufbau des Agenten mehr zählt als das Sprachmodell dahinter.

Eine Rangliste der Hersteller lässt sich daraus nicht ablesen, und das wollen wir auch nicht daraus machen. Die Zahl von 17,1 Prozent gilt für Claude Code mit einem chinesischen Sprachmodell namens GLM-4.6, nicht mit einem Modell von Anthropic. Mit Claude Sonnet 4.6 lag der Wert bei 27,7 Prozent, andere Werkzeuge wie Codex CLI von OpenAI und Gemini CLI von Google lagen je nach Modell zwischen 5,4 und 16,9 Prozent. Es sind künstliche Testfälle, kein Alltagsbetrieb.

Für den Alltag bleiben zwei Dinge. Erstens: Sagen Sie einem Agenten nicht nur, was er tun soll, sondern auch, was er nicht anfassen darf, und dass er vor dem Löschen oder Ändern fragen soll. Zweitens: Ob er sich daran hält, sieht man nur, wenn man nachsieht. Genau das ist der Kern unserer Arbeit bei Skillkontor. Bei jedem Skill fragen wir, was er tut, wenn keiner hinsieht, und ob er bei seinem Auftrag bleibt.