# KI-Erfolgsgeschichten prüfen: Was hinter den Fallstudien der Konkurrenz steckt

Autor: Marin Niehues, Niehues Consulting · Veröffentlicht: 2024-02-15 · KI-Strategie & Business Case
Quelle: https://www.niehuesconsulting.de/blog/ki-erfolgsgeschichten-pruefen/

KI-Erfolgsgeschichten prüfen Sie mit acht Fragen, die von Ausgangswert und Messzeitraum über Vergleichsgruppe und Betriebskosten bis zur Quelle der Zahl und zur Übertragbarkeit reichen. Eine Fallstudie, die davon drei nicht beantwortet, zeigt eine Möglichkeit, aber noch keinen Beleg. Dieser Beitrag erklärt, warum die Konkurrenz mit KI so viel erfolgreicher wirkt, als sie ist, und wie Entscheider aus fremden Zahlen eine eigene Rechnung machen.

Der Druck entsteht oft durch eine einzelne Folie auf einer Konferenz, auf der von deutlich kürzeren Bearbeitungszeiten oder von Einsparungen in Millionenhöhe die Rede ist. Die Geschäftsführung fragt, warum das eigene Haus nicht dort steht. Das ist eine berechtigte Frage, aber sie braucht eine geprüfte Antwort, bevor Budget fließt. Der Beitrag zum [KI-Hype-Zyklus](/blog/ki-hype-zyklus/) zeigt, wie sich Ankündigung und Fortschritt unterscheiden lassen. Hier geht es um das einzelne Dokument: die Fallstudie.

**Eine Erfolgsgeschichte belegt etwas, wenn der Ausgangswert und der Vergleich sowie der Nettonutzen offenliegen. Fehlt einer davon, bleibt sie eine Behauptung, die man als Anregung nutzt und nicht als Maßstab.**

## Warum wirken KI-Erfolgsgeschichten besser, als die Wirklichkeit ist?

KI-Erfolgsgeschichten wirken besser als die Wirklichkeit, weil nur die gelungenen Fälle veröffentlicht werden und weil die Zahlen meist von den Beteiligten selbst stammen. Dahinter stehen vier Mechanismen, die Entscheider kennen sollten.

Der erste ist die Auswahl. Unternehmen veröffentlichen, was gelungen ist, und lassen Projekte aus, die im Pilotstadium endeten. Wer nur die Siege sieht, überschätzt die Erfolgsquote. Dabei ist der Weg vom Pilot in den Betrieb weit, wie die Arbeit von Sculley und Kollegen zu technischen Schulden im maschinellen Lernen von 2015 beschreibt: Der Modellcode ist nur ein kleiner Teil des Systems, den Rest bilden Datenpipelines und Konfiguration sowie Überwachung und Betrieb.

Der zweite Mechanismus ist die Selbstauskunft. Eine Zahl wie „40 Prozent schneller“ stammt häufig aus einer Befragung der Nutzer oder aus der Schätzung des Projektteams. Wer ein neues Werkzeug selbst eingeführt hat, bewertet es erfahrungsgemäß wohlwollend. Der dritte ist der Vorher-Nachher-Vergleich ohne Kontrollgruppe: Wenn in demselben Quartal die Auftragslage und das Personal wechseln und der Prozess dazu, lässt sich der Effekt der KI nicht herausrechnen. Der vierte ist die Kostenseite. Fallstudien nennen den Nutzen im Pilot und lassen den Betrieb und die Datenpflege aus, ebenso Schulung und Nachprüfung.

## Welche acht Fragen gehören an jede Fallstudie?

Acht Fragen decken die typischen Lücken einer Fallstudie ab. Jede hat eine Antwort, die ein belastbarer Fall liefert, und ein Warnzeichen, das auf eine Behauptung hindeutet.

**Prüfraster für KI-Fallstudien**
Prüffrage | Warnzeichen | Antwort in einem belastbaren Fall
1 Ausgangswert | Nur der Wert nach der Einführung wird genannt | Messwert vor der Einführung mit Quelle
2 Messzeitraum | „Im Pilot“ oder „in ersten Wochen“ | Mehrere Monate im Regelbetrieb
3 Vergleichsgruppe | Vorher-Nachher ohne Kontrolle | Gleichzeitige Vergleichsgruppe ohne KI oder zufällige Zuteilung
4 Brutto und Netto | Nutzen ohne Kosten | Nutzen abzüglich Betrieb und Pflege sowie Schulung
5 Kennzahl | Prozentwert ohne Bezugsgröße | Absolute Werte und Definition der Messung
6 Quelle | Selbstauskunft des Anbieters oder der Nutzer | Unabhängige Messung oder Daten aus dem Prozess
7 Streuung | Nur der Durchschnitt | Verteilung nach Erfahrung der Nutzer und Aufgabenart
8 Übertragbarkeit | Branche und Datenlage unbenannt | Beschreibung der Daten und des Prozesses sowie der Organisation
Mit Niehues Consulting | Fremde Zahlen werden zum Ausgangspunkt einer eigenen Rechnung | Eigene Messung im echten Ablauf mit echten Daten

Die Fragen lassen sich in einer Stunde an jedes Dokument stellen. Wer sie vor einem Lieferantengespräch beantwortet, erkennt, welche Zahlen belastbar sind und welche der Anbieter nachliefern muss.

## Wie sieht ein belastbarer Beleg aus?

Ein belastbarer Beleg hat eine Vergleichsgruppe, eine genaue Messung und eine offene Streuung. Drei wissenschaftliche Arbeiten aus dem Jahr 2023 zeigen, wie das aussieht und was dabei herauskommt.

Eine Feldstudie des Forschungsteams um Erik Brynjolfsson untersuchte rund 5.000 Servicekräfte, die mit einem KI-Assistenten arbeiteten. Die Zahl gelöster Anfragen je Stunde stieg im Durchschnitt um 14 Prozent, bei Neulingen um 34 Prozent, bei erfahrenen Kräften kaum. Der Durchschnitt allein verdeckt, dass der Nutzen von der Erfahrung abhängt. Ein Unternehmen mit überwiegend erfahrenen Kräften darf den Durchschnittswert deshalb nicht übernehmen.

Eine zufällig zugeteilte Studie von Noy und Zhang mit 453 Fachleuten fand bei Schreibaufgaben eine um 40 Prozent kürzere Bearbeitungszeit und eine um 18 Prozent bessere Bewertung der Qualität durch unabhängige Prüfer. Es handelte sich um kurze, in sich geschlossene Aufgaben im Experiment, daher kann der Zeitgewinn im laufenden Geschäft kleiner ausfallen, weil Prüfen und Formulieren der Anweisungen Zeit kosten.

Eine dritte Studie von Dell'Acqua und Kollegen mit 758 Beraterinnen und Beratern zeigt die Grenze. Bei Aufgaben innerhalb der Fähigkeiten des Modells erledigten die Teilnehmer mit KI durchschnittlich 12,2 Prozent mehr Aufgaben und etwa ein Viertel schneller. Bei einer Aufgabe außerhalb dieser Fähigkeiten lag der Anteil richtiger Lösungen mit KI um 19 Prozentpunkte niedriger als ohne. Wer eine Erfolgsgeschichte liest, sollte deshalb fragen, ob die Aufgabe im eigenen Betrieb innerhalb oder außerhalb dieser Grenze liegt.

Alle drei Arbeiten haben Vergleichsgruppen und nennen ihre Stichproben. Sie berichten zudem Unterschiede nach Erfahrung oder Aufgabenart. Marketing-Fallstudien tun das selten. Die Beiträge zu [ChatGPT im Unternehmen](/blog/chatgpt-unternehmen-jahr-hype-nuechtern-betrachtet/) und zur [KI-Jahresbilanz 2023](/blog/ki-jahresbilanz-2023/) ordnen ein, was Unternehmen bis zum Jahresende tatsächlich umgesetzt haben.

## Wie übertragen Sie eine fremde Zahl auf den eigenen Betrieb?

Eine fremde Zahl übertragen Sie, indem Sie den gemessenen Effekt mit dem Anteil der Beschäftigten, dem Zeitanteil der Aufgabe und dem tatsächlich verwertbaren Teil des Zeitgewinns multiplizieren. Das Ergebnis ist eine eigene Schätzung, die Sie im Prototyp mit echten Daten prüfen.

**Rechenweg mit angenommenen Werten**
Schritt | Rechenweg | Beispielwert
Effekt laut Studie | Mehr gelöste Anfragen je Stunde im Durchschnitt | 14 Prozent
Betroffene Beschäftigte | Mitarbeiter im Service, die das Werkzeug nutzen (angenommen) | 40
Zeitanteil der Aufgabe | Anteil der Arbeitszeit mit der untersuchten Aufgabe (angenommen) | 60 Prozent
Rechnerischer Gewinn | 40 mal 0,6 mal 0,14 | 3,4 Vollzeitstellen
Verwertbarer Anteil | Anteil, der in Kapazität und nicht in Leerlauf mündet (angenommen) | 50 Prozent
Gewinn nach Verwertung | 3,4 mal 0,5 | 1,7 Vollzeitstellen
Erfahrungsabschlag | Hoher Anteil erfahrener Kräfte senkt den Effekt (angenommen) | Weitere Kürzung prüfen

Der Rechenweg zeigt zwei Dinge. Der veröffentlichte Prozentwert schrumpft auf dem Weg zum Betrieb deutlich, und jeder Faktor lässt sich vor der Entscheidung prüfen. Wie Sie den eigenen Stand gegenüber dem Wettbewerb einschätzen, zeigt der Beitrag zum [KI-Wettbewerbsdruck](/blog/ki-wettbewerbsdruck-woran-mittelstaendler-erkennen-ob/).

**Fünf Fragen an den Anbieter oder Absender einer Fallstudie**
- Welchen Messwert gab es vor der Einführung, und wer hat ihn erhoben?
- Wie lange lief die Messung, und lief sie im Regelbetrieb?
- Gab es eine Vergleichsgruppe ohne das Werkzeug?
- Welche Kosten für den Betrieb und die Pflege sind im Nutzen abgezogen?
- Welche Daten lagen zugrunde, und wie ähnlich ist der Prozess unserem?

## Was tun, wenn die Konkurrenz tatsächlich weiter ist?

Wenn ein Wettbewerber nachweislich einen Vorsprung hat, hilft ein eigener Nachweis schneller als die Kopie des fremden Vorhabens. Ein Prototyp im echten Ablauf mit echten Daten beantwortet in wenigen Wochen, ob der Effekt im eigenen Betrieb entsteht. Das Vorhaben wird nach Wert und Machbarkeit eingeordnet, und die Geschäftsführung entscheidet auf eigener Datenlage. Ein Unternehmen, das fremde Fälle nachbaut, übernimmt auch deren Annahmen über Daten und Prozesse, die für den eigenen Betrieb nicht gelten müssen.

## Erfolgsgeschichten prüfen mit Niehues Consulting

[Niehues Consulting](/) ist eine Beratung für KI-Management und Organisationsdesign aus der Lieferperspektive mit Sitz in Düsseldorf. Gründer Marin Niehues bringt KI in den Betrieb, in Projekten von VC-finanzierten Scaleups bis zu DAX-40-Konzernen und in über 20 Ländern auf sechs Kontinenten. Im Leistungsfeld KI-Management gehören die Business Analysis und der Business Case dazu sowie die Auswahl der Anwendungen, also genau die Schritte, die aus einer fremden Zahl eine eigene Entscheidung machen.

Das Vorgehen folgt dem Niehues Delivery Model. Drei Prüffragen sind für Fallstudien besonders wichtig: Was ist der Ausgangswert, und woran messen wir den Erfolg? Beweist der Prototyp den Nutzen im echten Ablauf mit echten Daten? Ist der Business Case mit realen Werten bestätigt? Den Einstieg bildet eine kostenfreie Erstberatung von 30 Minuten, die Sie über den [Kontakt](/#kontakt) vereinbaren.

**Fazit**
Eine KI-Erfolgsgeschichte ist ein Anlass zur Prüfung und kein Maßstab. Acht Fragen trennen Beleg von Behauptung, und der Rechenweg überträgt den fremden Effekt auf den eigenen Betrieb. Der Weg zur Entscheidung führt über einen Prototyp mit eigenen Daten und einen Business Case mit realen Werten.

**Grundlage**
- Brynjolfsson, Li, Raymond: Generative AI at Work, NBER Working Paper 31161, 2023
- Noy, Zhang: Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence, Science, 2023
- Dell'Acqua et al.: Navigating the Jagged Technological Frontier, Harvard Business School Working Paper, 2023
- Sculley et al.: Hidden Technical Debt in Machine Learning Systems, NeurIPS-Konferenzbeitrag, 2015

## Häufige Fragen

### Wie erkennen Sie eine belastbare KI-Fallstudie?

Eine belastbare Fallstudie nennt den Ausgangswert, den Messzeitraum und eine Vergleichsgruppe. Sie weist Nutzen abzüglich Betriebskosten aus und beschreibt Daten und Prozess. Fehlen mehrere dieser Angaben, behandeln Sie die Zahl als Behauptung.

### Warum veröffentlichen Unternehmen nur Erfolge?

Unternehmen veröffentlichen Erfolge, weil Fallstudien Marketing sind und gescheiterte Projekte selten erzählt werden. Das verzerrt das Bild, weil die Misserfolge fehlen. Wer die Erfolgsquote einschätzt, muss die unsichtbaren Projekte mitdenken.

### Sind Produktivitätszahlen aus KI-Studien auf mein Unternehmen übertragbar?

Produktivitätszahlen sind übertragbar, wenn Aufgabe, Erfahrung der Nutzer und Datenlage ähnlich sind. Die Studie zu Servicekräften zeigt, dass der Effekt bei Neulingen deutlich höher ausfiel als bei erfahrenen Kräften. Der Rechenweg in diesem Beitrag rechnet den Wert auf den eigenen Betrieb um.

### Was sind typische Fehler in KI-Fallstudien?

Typische Fehler sind ein fehlender Ausgangswert, ein Vorher-Nachher-Vergleich ohne Kontrollgruppe und Nutzenangaben ohne Betriebskosten. Häufig stammen die Zahlen aus Selbstauskünften der Nutzer. Dazu kommen Durchschnittswerte, die Unterschiede zwischen Nutzergruppen verdecken.

### Wie rechnen Sie den Nutzen einer KI-Anwendung für das eigene Unternehmen aus?

Sie multiplizieren den gemessenen Effekt mit der Zahl der Nutzer, dem Zeitanteil der Aufgabe und dem verwertbaren Anteil des Zeitgewinns. Danach ziehen Sie die Betriebskosten ab. Das Ergebnis prüfen Sie im Prototyp mit echten Daten.

### Welche Studien zum Nutzen von KI gibt es?

Es gibt Feldstudien zu Servicekräften, Experimente zu Schreibaufgaben und Untersuchungen zu Wissensarbeit, die jeweils mit Vergleichsgruppen arbeiten. Sie zeigen bei geeigneten Aufgaben zweistellige Produktivitätsgewinne. Bei Aufgaben außerhalb der Modellfähigkeiten sank dagegen die Qualität.

### Was kostet es, eine KI-Erfolgsgeschichte nachzubauen?

Die Kosten hängen vom Vorhaben ab, und die Fallstudie nennt sie meist nicht vollständig. Planen Sie neben der Entwicklung auch die Datenpflege und den Betrieb ein, dazu die Schulung. Umfang und Konditionen eines Vorhabens werden in der kostenfreien Erstberatung besprochen.

### Soll ein Unternehmen dem Wettbewerber bei KI sofort folgen?

Ein Unternehmen sollte dem Wettbewerber folgen, wenn der Vorsprung belegt ist und der eigene Prototyp ihn bestätigt. Ein früher Start ohne Prüfung bindet Budget ohne Nutzen. Ein Prototyp mit eigenen Daten liefert in wenigen Wochen die Entscheidungsgrundlage.