KI-Erfolgsgeschichten prüfen: Was hinter den Fallstudien der Konkurrenz steckt

KI-Erfolgsgeschichten prüfen Sie mit acht Fragen, die von Ausgangswert und Messzeitraum über Vergleichsgruppe und Betriebskosten bis zur Quelle der Zahl und zur Übertragbarkeit reichen. Eine Fallstudie, die davon drei nicht beantwortet, zeigt eine Möglichkeit, aber noch keinen Beleg. Dieser Beitrag erklärt, warum die Konkurrenz mit KI so viel erfolgreicher wirkt, als sie ist, und wie Entscheider aus fremden Zahlen eine eigene Rechnung machen.

Der Druck entsteht oft durch eine einzelne Folie auf einer Konferenz, auf der von deutlich kürzeren Bearbeitungszeiten oder von Einsparungen in Millionenhöhe die Rede ist. Die Geschäftsführung fragt, warum das eigene Haus nicht dort steht. Das ist eine berechtigte Frage, aber sie braucht eine geprüfte Antwort, bevor Budget fließt. Der Beitrag zum KI-Hype-Zyklus zeigt, wie sich Ankündigung und Fortschritt unterscheiden lassen. Hier geht es um das einzelne Dokument: die Fallstudie.

Warum wirken KI-Erfolgsgeschichten besser, als die Wirklichkeit ist?

KI-Erfolgsgeschichten wirken besser als die Wirklichkeit, weil nur die gelungenen Fälle veröffentlicht werden und weil die Zahlen meist von den Beteiligten selbst stammen. Dahinter stehen vier Mechanismen, die Entscheider kennen sollten.

Der erste ist die Auswahl. Unternehmen veröffentlichen, was gelungen ist, und lassen Projekte aus, die im Pilotstadium endeten. Wer nur die Siege sieht, überschätzt die Erfolgsquote. Dabei ist der Weg vom Pilot in den Betrieb weit, wie die Arbeit von Sculley und Kollegen zu technischen Schulden im maschinellen Lernen von 2015 beschreibt: Der Modellcode ist nur ein kleiner Teil des Systems, den Rest bilden Datenpipelines und Konfiguration sowie Überwachung und Betrieb.

Der zweite Mechanismus ist die Selbstauskunft. Eine Zahl wie „40 Prozent schneller“ stammt häufig aus einer Befragung der Nutzer oder aus der Schätzung des Projektteams. Wer ein neues Werkzeug selbst eingeführt hat, bewertet es erfahrungsgemäß wohlwollend. Der dritte ist der Vorher-Nachher-Vergleich ohne Kontrollgruppe: Wenn in demselben Quartal die Auftragslage und das Personal wechseln und der Prozess dazu, lässt sich der Effekt der KI nicht herausrechnen. Der vierte ist die Kostenseite. Fallstudien nennen den Nutzen im Pilot und lassen den Betrieb und die Datenpflege aus, ebenso Schulung und Nachprüfung.

Welche acht Fragen gehören an jede Fallstudie?

Acht Fragen decken die typischen Lücken einer Fallstudie ab. Jede hat eine Antwort, die ein belastbarer Fall liefert, und ein Warnzeichen, das auf eine Behauptung hindeutet.

Die Fragen lassen sich in einer Stunde an jedes Dokument stellen. Wer sie vor einem Lieferantengespräch beantwortet, erkennt, welche Zahlen belastbar sind und welche der Anbieter nachliefern muss.

Wie sieht ein belastbarer Beleg aus?

Ein belastbarer Beleg hat eine Vergleichsgruppe, eine genaue Messung und eine offene Streuung. Drei wissenschaftliche Arbeiten aus dem Jahr 2023 zeigen, wie das aussieht und was dabei herauskommt.

Eine Feldstudie des Forschungsteams um Erik Brynjolfsson untersuchte rund 5.000 Servicekräfte, die mit einem KI-Assistenten arbeiteten. Die Zahl gelöster Anfragen je Stunde stieg im Durchschnitt um 14 Prozent, bei Neulingen um 34 Prozent, bei erfahrenen Kräften kaum. Der Durchschnitt allein verdeckt, dass der Nutzen von der Erfahrung abhängt. Ein Unternehmen mit überwiegend erfahrenen Kräften darf den Durchschnittswert deshalb nicht übernehmen.

Eine zufällig zugeteilte Studie von Noy und Zhang mit 453 Fachleuten fand bei Schreibaufgaben eine um 40 Prozent kürzere Bearbeitungszeit und eine um 18 Prozent bessere Bewertung der Qualität durch unabhängige Prüfer. Es handelte sich um kurze, in sich geschlossene Aufgaben im Experiment, daher kann der Zeitgewinn im laufenden Geschäft kleiner ausfallen, weil Prüfen und Formulieren der Anweisungen Zeit kosten.

Eine dritte Studie von Dell'Acqua und Kollegen mit 758 Beraterinnen und Beratern zeigt die Grenze. Bei Aufgaben innerhalb der Fähigkeiten des Modells erledigten die Teilnehmer mit KI durchschnittlich 12,2 Prozent mehr Aufgaben und etwa ein Viertel schneller. Bei einer Aufgabe außerhalb dieser Fähigkeiten lag der Anteil richtiger Lösungen mit KI um 19 Prozentpunkte niedriger als ohne. Wer eine Erfolgsgeschichte liest, sollte deshalb fragen, ob die Aufgabe im eigenen Betrieb innerhalb oder außerhalb dieser Grenze liegt.

Alle drei Arbeiten haben Vergleichsgruppen und nennen ihre Stichproben. Sie berichten zudem Unterschiede nach Erfahrung oder Aufgabenart. Marketing-Fallstudien tun das selten. Die Beiträge zu ChatGPT im Unternehmen und zur KI-Jahresbilanz 2023 ordnen ein, was Unternehmen bis zum Jahresende tatsächlich umgesetzt haben.

Wie übertragen Sie eine fremde Zahl auf den eigenen Betrieb?

Eine fremde Zahl übertragen Sie, indem Sie den gemessenen Effekt mit dem Anteil der Beschäftigten, dem Zeitanteil der Aufgabe und dem tatsächlich verwertbaren Teil des Zeitgewinns multiplizieren. Das Ergebnis ist eine eigene Schätzung, die Sie im Prototyp mit echten Daten prüfen.

Der Rechenweg zeigt zwei Dinge. Der veröffentlichte Prozentwert schrumpft auf dem Weg zum Betrieb deutlich, und jeder Faktor lässt sich vor der Entscheidung prüfen. Wie Sie den eigenen Stand gegenüber dem Wettbewerb einschätzen, zeigt der Beitrag zum KI-Wettbewerbsdruck.

Was tun, wenn die Konkurrenz tatsächlich weiter ist?

Wenn ein Wettbewerber nachweislich einen Vorsprung hat, hilft ein eigener Nachweis schneller als die Kopie des fremden Vorhabens. Ein Prototyp im echten Ablauf mit echten Daten beantwortet in wenigen Wochen, ob der Effekt im eigenen Betrieb entsteht. Das Vorhaben wird nach Wert und Machbarkeit eingeordnet, und die Geschäftsführung entscheidet auf eigener Datenlage. Ein Unternehmen, das fremde Fälle nachbaut, übernimmt auch deren Annahmen über Daten und Prozesse, die für den eigenen Betrieb nicht gelten müssen.

Erfolgsgeschichten prüfen mit Niehues Consulting

Niehues Consulting ist eine Beratung für KI-Management und Organisationsdesign aus der Lieferperspektive mit Sitz in Düsseldorf. Gründer Marin Niehues bringt KI in den Betrieb, in Projekten von VC-finanzierten Scaleups bis zu DAX-40-Konzernen und in über 20 Ländern auf sechs Kontinenten. Im Leistungsfeld KI-Management gehören die Business Analysis und der Business Case dazu sowie die Auswahl der Anwendungen, also genau die Schritte, die aus einer fremden Zahl eine eigene Entscheidung machen.

Das Vorgehen folgt dem Niehues Delivery Model. Drei Prüffragen sind für Fallstudien besonders wichtig: Was ist der Ausgangswert, und woran messen wir den Erfolg? Beweist der Prototyp den Nutzen im echten Ablauf mit echten Daten? Ist der Business Case mit realen Werten bestätigt? Den Einstieg bildet eine kostenfreie Erstberatung von 30 Minuten, die Sie über den Kontakt vereinbaren.