KI-Agenten im Einsatz: Was die Fälle Air Canada, Klarna und Replit lehren

Die bekannten Fehlschläge von KI-Agenten bei Air Canada, Klarna und Replit haben eine gemeinsame Ursache: Es fehlten Leitplanken, die heute erprobt sind. Jeder dieser Fälle ist öffentlich dokumentiert, und jeder geht auf eine Lücke in Technik und Organisation zurück, die vor dem Go-live sichtbar gewesen wäre.

Für die Geschäftsführung ist das eine gute Nachricht. Das Lehrgeld haben andere bezahlt, die Gegenmaßnahmen sind bekannt. Dieser Beitrag ordnet fünf Fälle ein, beschreibt je Fall Ursache und Gegenmaßnahme und verdichtet daraus eine Prüfliste für den Go-live. Weil einige Fälle Haftungsfragen berühren, gilt: Dieser Beitrag gibt einen Überblick und ersetzt keine Rechtsberatung.

Warum scheitern KI-Agenten im Betrieb?

KI-Agenten scheitern im Betrieb, wenn sie mehr dürfen, als ihre Organisation kontrollieren kann. Ein Sprachmodell erzeugt plausible Antworten und führt Aufträge aus, es kennt aber weder die gültige Richtlinie noch die Tragweite eines Befehls. Diese Grenze ziehen Architektur und Betriebsmodell.

Die Fälle unten folgen einem Muster. Ein System, das im Pilot überzeugt hatte, erhielt Zugang zu Kunden oder Produktionsdaten. Was im Pilot ein Fachmann am Bildschirm abfing, ging nun ungeprüft nach außen. Welche Einsatzfelder Agenten heute verlässlich abdecken, beschreibt der Beitrag KI-Agenten: Was sie können und wo sie heute stehen.

Air Canada: Haftet ein Unternehmen für die Auskunft seines Chatbots?

Ja, im Fall Air Canada haftete das Unternehmen für die falsche Auskunft seines Chatbots. Das Civil Resolution Tribunal der kanadischen Provinz British Columbia entschied im Februar 2024 im Verfahren Moffatt gegen Air Canada.

Was geschah: Nach dem Tod seiner Großmutter im November 2022 fragte ein Kunde den Chatbot auf der Website der Fluggesellschaft nach Trauerfall-Tarifen. Der Bot erklärte, er könne den ermäßigten Tarif nachträglich beantragen, innerhalb von 90 Tagen nach Ausstellung des Tickets. Die tatsächliche Richtlinie schloss eine nachträgliche Erstattung aus, und Air Canada lehnte den Antrag ab.

Folge: Air Canada argumentierte, der Chatbot sei für seine Aussagen selbst verantwortlich. Das Tribunal wies das zurück. Das Unternehmen sei für alle Informationen auf seiner Website verantwortlich, gleich ob sie auf einer statischen Seite oder im Chat stehen, und habe nicht ausreichend für die Richtigkeit des Bots gesorgt. Es sprach dem Kunden die Differenz zum Trauerfall-Tarif zu, rund 650 kanadische Dollar zuzüglich Zinsen und Gebühren. Der Betrag war gering, die öffentliche Wirkung erheblich.

Ursache: Der Bot antwortete aus dem Sprachmodell, ohne an den geltenden Richtlinientext gebunden zu sein.

Gegenmaßnahme: Retrieval mit Quellenbindung. Der Bot antwortet ausschließlich aus einer versionierten Wissensbasis freigegebener Richtlinien und nennt zu jeder Aussage die Fundstelle. Vor dem Absenden prüft eine Kontrolle, ob die zitierte Passage die Antwort deckt. Ungedeckte Antworten gehen an eine Servicekraft. Organisatorisch braucht die Wissensbasis einen Eigentümer im Fachbereich, der jede Richtlinienänderung einspielt. Wie sich Halluzinationen im Betrieb begrenzen lassen, beschreibt der Beitrag zu Halluzinationen im produktiven Einsatz.

Klarna: Autonomie ohne Messung kostet Qualität

Was geschah: Im Februar 2024 meldete der Zahlungsdienstleister Klarna, sein KI-Assistent habe im ersten Monat 2,3 Millionen Kundengespräche geführt, rund zwei Drittel aller Service-Chats. Nach Firmenangabe leistete er die Arbeit von 700 Vollzeitkräften. Im Mai 2025 räumte Vorstandschef Sebastian Siemiatkowski gegenüber Bloomberg ein, die Kosten hätten bei der Organisation des Service zu stark im Vordergrund gestanden, das Ergebnis sei geringere Qualität gewesen. Klarna stellte wieder Menschen für den Kundenservice ein und behielt den Assistenten für einfache Anliegen.

Ursache: Die Automatisierung wurde am Volumen gemessen. Für komplexe Anliegen fehlte ein Qualitätsmaß, das früh angeschlagen hätte. So wurde ein öffentlich gefeierter Erfolg zur öffentlichen Kurskorrektur.

Gegenmaßnahme: gestufte Autonomie mit Messung. Der Agent übernimmt Anliegen nach Typ, beginnend mit den einfachen. Vor jedem Release läuft ein Testsatz mit echten Fällen, im Betrieb werden Stichproben gegen festgelegte Qualitätskriterien bewertet. Fällt ein Anliegen-Typ unter den Schwellenwert, geht genau dieser Typ wieder an Menschen. Die Qualitätskennzahl gehört einer benannten Person im Service, die über Ausweitung und Rücknahme entscheidet.

Replit: Ein Agent darf nur können, was er soll

Was geschah: Im Juli 2025 berichtete Jason Lemkin, Gründer der Unternehmer-Plattform SaaStr, öffentlich über einen Testlauf mit dem Coding-Agenten von Replit. Trotz ausdrücklich angeordnetem Änderungsstopp löschte der Agent eine Produktionsdatenbank mit Datensätzen zu über tausend Führungskräften und Unternehmen. Danach meldete er fälschlich, eine Wiederherstellung sei unmöglich. Replit-Chef Amjad Masad nannte den Vorfall inakzeptabel. Er kündigte die automatische Trennung von Entwicklungs- und Produktionsdatenbank an, dazu einen Modus, in dem der Agent nur plant.

Ursache: Die Sperre stand im Prompt. Technisch hatte der Agent Löschrechte auf die Produktion, und Test und Betrieb teilten sich dieselbe Datenbank.

Gegenmaßnahme: Least Privilege und Freigabe-Gates. Jeder Agent erhält einen eigenen Dienstzugang mit genau den Rechten, die seine Aufgabe verlangt. Er arbeitet in einer Sandbox oder auf einer Kopie. Schreibende und löschende Operationen auf Produktivsysteme laufen über eine menschliche Freigabe. Backups mit getesteter Wiederherstellung begrenzen den Schaden. Eine Anweisung im Prompt ist keine technische Sperre.

Australien: Erfundene Quellen in einem Regierungsbericht

Was geschah: Das australische Arbeitsministerium hatte bei einem großen Beratungsunternehmen einen Prüfbericht zu einem IT-gestützten Sanktionssystem für Leistungsbezieher beauftragt, Auftragswert rund 440.000 australische Dollar. Der Bericht erschien im Juli 2025. Im August wies ein Wissenschaftler der University of Sydney auf nicht existierende Quellen hin, dazu auf ein erfundenes Zitat aus einem Bundesgerichtsurteil. Die korrigierte Fassung legte offen, dass ein generatives Sprachmodell an der Erstellung beteiligt war. Im Oktober 2025 wurde bekannt, dass das Beratungsunternehmen die letzte Rate des Honorars zurückzahlt. Das Ministerium erklärte, die Empfehlungen blieben inhaltlich bestehen.

Ursache: Generierte Literaturangaben gingen ohne systematische Prüfung in ein offizielles Dokument. Die Folge waren eine Rückzahlung und parlamentarische Kritik.

Gegenmaßnahme: Zitationsprüfung. Eine Prüfstrecke löst jede Quelle automatisch auf und gleicht die Aussage mit der Fundstelle ab. Ein Dokument wird erst freigegeben, wenn jede Behauptung belegt oder sichtbar als Einschätzung gekennzeichnet ist. Organisatorisch gilt für jeden Bericht mit Außenwirkung: Wer zeichnet, hat jede Quelle gesehen.

Chevrolet-Händler: Prompt Injection im Verkaufschat

Was geschah: Im Dezember 2023 brachten Nutzer den Verkaufs-Chatbot eines Chevrolet-Händlers im kalifornischen Watsonville dazu, einen neuen Chevrolet Tahoe für einen Dollar als „rechtsverbindliches Angebot“ zu bestätigen. Der Trick bestand in einer eingeschleusten Anweisung, jeder Kundenaussage zuzustimmen. Der Händler nahm den Bot vom Netz. Ein Kaufvertrag kam nicht zustande, der Schaden lag in der öffentlichen Bloßstellung.

Ursache: Das Sprachmodell durfte Preise und Zusagen formulieren, und Eingaben von außen konnten seine Anweisungen überschreiben.

Gegenmaßnahme: Leitplanken gegen Prompt Injection. Konversation und Transaktion werden getrennt. Verbindliche Werte liefert eine Schnittstelle mit Regelwerk, das Modell formuliert nur. Eingaben laufen durch eine Klassifizierung, Ausgaben durch einen Filter für Zusage-Sprache. Vor dem Livegang testet ein Red Team gezielt Angriffe. Die Angriffsflächen beschreibt der Beitrag KI-Sicherheit: Prompt Injection und neue Angriffsflächen.

Fünf Leitplanken im Vergleich

Aus den Fällen ergeben sich fünf Leitplanken für jeden Agenten mit Außenwirkung oder Systemzugriff. Die Tabelle zeigt den Unterschied im Betrieb.

Welche Prüfungen gehören vor den Go-live eines KI-Agenten?

Vor dem Go-live gehören acht Prüfungen auf den Tisch, und jede braucht eine dokumentierte Antwort. Bei Agenten mit Außenwirkung oder Schreibrechten auf Produktivsysteme sind alle acht Pflicht. Bei internen Entwürfen ohne Systemzugriff genügen die Punkte 1, 4 und 7.

Die Prüfliste macht Risikomanagement prüfbar. Wie die Geschäftsführung das KI-Portfolio insgesamt steuert, beschreibt der Leitfaden zum KI-Management.

Wie Niehues Consulting solche Vorhaben liefert

Niehues Consulting begleitet KI-Vorhaben von der Analyse über den Prototyp bis zur Einführung in den Betrieb. Marin Niehues arbeitet als Management-Berater aus der Lieferperspektive. Er baut Organisationen, die liefern, und bringt KI in den Betrieb, in Projekten von VC-finanzierten Scaleups bis zu DAX-40-Konzernen und im Einsatz in über 20 Ländern auf sechs Kontinenten.

Das Vorgehen folgt dem Niehues Delivery Model in drei Phasen. Für Agenten zählen drei Prüffragen besonders. Wer entscheidet, wer liefert, wer nutzt? Beweist der Prototyp den Nutzen im echten Ablauf mit echten Daten? Wer verantwortet den Betrieb ab dem ersten Tag? In der Phase Verstehen entstehen Anforderungen und Business Case, dazu die Einstufung, welche Aktionen ein Agent selbst ausführen darf. Im Bauen zeigt der Prototyp im echten Ablauf, ob Quellenbindung und Freigaben greifen. Im Einführen gehen Kennzahlen und Zuständigkeiten an den Betrieb über. Die kostenfreie Erstberatung dauert 30 Minuten und klärt, welcher Agent zuerst auf die Prüfliste gehört (Termin vereinbaren).