# KI-Nutzung ohne Ergebnis: Warum Mitarbeitende Tools verwenden und der Nutzen ausbleibt

Autor: Marin Niehues, Niehues Consulting · Veröffentlicht: 2024-07-18 · KI-Strategie & Business Case
Quelle: https://www.niehuesconsulting.de/blog/ki-nutzung-ergebnis/

KI-Nutzung bleibt ohne Ergebnis, wenn Mitarbeitende ein Werkzeug verwenden, aber weder die Aufgabe noch der Ablauf noch die Messung darauf eingerichtet sind. Dann sparen einzelne Personen Minuten, und im Ergebnis des Bereichs ändert sich nichts. Die Ursachen liegen in vier Lücken der Organisation: Der Zeitgewinn wird nicht verwendet, die Aufgaben passen nicht zum Werkzeug, der Prozess bleibt unverändert, und niemand misst die Wirkung.

Dieser Beitrag legt dar, was die vorliegenden Studien zur Wirkung generativer KI am Arbeitsplatz zeigen. Er erklärt, warum Nutzung und Nutzen auseinanderfallen, und wie Führungskräfte mit einem Reifegradmodell und einer Prüfliste herausfinden, wo ihre Organisation steht. Der Druck, bei KI sichtbar voranzukommen, ist real, und gerade deshalb lohnt sich ein genauer Blick auf das, was Nutzung bewirkt.

**Nutzung ist eine Eingangsgröße, Wirkung eine Ausgangsgröße. Zwischen beiden liegen Aufgabenwahl und Prozessanpassung sowie Messung, und wo eines davon fehlt, bleibt der Nutzen aus, auch wenn jede Woche mehr Mitarbeitende das Werkzeug öffnen.**

## Was zeigen Studien zur Wirkung von KI am Arbeitsplatz?

Studien zeigen, dass generative KI bei passenden Aufgaben messbar hilft und bei unpassenden Aufgaben schadet. Eine Feldstudie mit mehr als 5.000 Servicekräften in einem Kundenservice ergab, dass der Zugang zu einem KI-Assistenten die Zahl gelöster Anfragen je Stunde im Durchschnitt um 14 Prozent erhöhte. Bei neuen und weniger erfahrenen Beschäftigten fiel der Zuwachs am größten aus, bei erfahrenen Kräften war der Effekt gering. Ein Experiment mit mehreren hundert Fachkräften mit Hochschulabschluss zu Schreibaufgaben senkte die benötigte Zeit um rund 40 Prozent und hob die bewertete Qualität um 18 Prozent.

Das aufschlussreichste Ergebnis stammt aus einem Experiment mit 758 Beraterinnen und Beratern einer Unternehmensberatung. Für Aufgaben innerhalb der „Frontier“ der KI-Fähigkeiten erledigten die Teilnehmer mit KI 12,2 Prozent mehr Aufgaben, 25,1 Prozent schneller und mit deutlich höherer Qualität. Bei einer Aufgabe außerhalb dieser Grenze, die auf den ersten Blick ähnlich aussah, lagen die Teilnehmer mit KI um 19 Prozentpunkte seltener richtig als die Kontrollgruppe. Die Autoren sprechen von einer „gezackten Grenze“: Wo sie verläuft, ist von außen nicht zu erkennen.

**Befunde aus Studien zur KI am Arbeitsplatz**
14 % | mehr gelöste Anfragen je Stunde im Kundenservice, bei Neulingen am stärksten
40 % | weniger Zeit bei Schreibaufgaben, bei um 18 % höherer Qualität
25,1 % | schnellere Erledigung von Aufgaben innerhalb der KI-Fähigkeiten
19 Punkte | geringere Trefferquote bei einer Aufgabe außerhalb der KI-Fähigkeiten

Für Entscheider folgen daraus zwei Dinge. Erstens entsteht Nutzen an der einzelnen Aufgabe. Zweitens muss jemand die Aufgaben auswählen, bei denen das Werkzeug hilft, und die Mitarbeitenden anleiten, wo es schadet. Beides übernehmen Mitarbeitende selten von allein.

## Warum bleibt der Nutzen aus, obwohl Mitarbeitende KI nutzen?

Der Nutzen bleibt aus, weil Nutzung nur die erste von vier Bedingungen erfüllt. Vier Lücken erklären die Differenz, und jede hat eine eigene Abhilfe.

Die erste Lücke ist der Zeitgewinn, der nicht verwendet wird. Spart eine Person zwei Stunden pro Woche, entsteht im Bereich erst dann Wirkung, wenn jemand diese Zeit für etwas Messbares einplant, etwa mehr Kundenkontakte oder kürzere Durchlaufzeiten. Ohne diese Entscheidung verteilt sich die gewonnene Zeit auf andere Aufgaben, und in der Bilanz ist nichts zu sehen.

Die zweite Lücke sind falsch gewählte Aufgaben. Mitarbeitende setzen KI dort ein, wo sie neugierig sind, und der größte Hebel liegt oft an einer anderen Stelle. Teils nutzen sie das Werkzeug außerhalb seiner Stärken, wie das Experiment mit der gezackten Grenze zeigt, und müssen die Ergebnisse aufwendig prüfen oder korrigieren. Dann kostet die Prüfung mehr Zeit, als die Erstellung gespart hat.

Die dritte Lücke ist der fehlende Prozessbezug. Die Einzelnutzung liegt neben dem Ablauf: Ein Entwurf entsteht schneller, aber der Freigabeweg bleibt derselbe, und der Engpass sitzt weiterhin bei der Abstimmung. Wirkung entsteht, wenn der Prozess auf das Werkzeug zugeschnitten wird, mit angepassten Schritten und Rollen sowie Übergaben. Wie sich Wildwuchs bei Werkzeugen und Abonnements auswirkt, beschreibt der Beitrag zum [KI-Abo-Wildwuchs](/blog/ki-abo-wildwuchs/).

Die vierte Lücke ist die fehlende Messung. Nutzungszahlen wie Anmeldungen oder Anfragen sagen etwas über Verbreitung aus und nichts über Ergebnis. Ohne Ausgangswert und Kennzahl lässt sich weder ein Erfolg belegen noch ein Misserfolg erkennen, und Entscheidungen über weitere Mittel folgen dem Eindruck. Welche Muster bei Budgets in der ersten Hype-Phase entstanden sind, zeigt der Beitrag zu [KI-Investitionen ohne Plan](/blog/ki-investitionen-plan/).

## Wie viel Zeitgewinn wird tatsächlich zu Ergebnis?

Aus einem Zeitgewinn wird Ergebnis, wenn er die Prüf- und Nacharbeit übersteigt und in der Planung eine neue Verwendung findet. Der Rechenweg hat vier Schritte. Zuerst wird die gesparte Zeit je Person und Woche gemessen, etwa über Stichproben. Davon wird die Zeit für Prüfung und Korrektur abgezogen. Der Rest ist der Nettogewinn. Anschließend legt der Fachbereich fest, welcher Anteil davon in welche Tätigkeit fließt, und bewertet diese Tätigkeit mit einer Kennzahl.

Ein Rechenbeispiel mit angenommenen Werten zeigt den Unterschied. In einem Bereich nutzen 100 Personen ein KI-Werkzeug. Jede spart nach Selbstauskunft zwei Stunden pro Woche. Eine Stichprobe zeigt, dass für Prüfung und Korrektur eine halbe Stunde je Woche anfällt, der Nettogewinn beträgt also 1,5 Stunden je Person und Woche, in Summe 150 Stunden. Fließen 60 Prozent davon in zusätzliche Kundentermine, entstehen 90 Stunden Kundenzeit pro Woche, etwa 2,3 Vollzeitstellen. Ohne Entscheidung über die Verwendung bleiben 150 Stunden als Wirkung unsichtbar, und die Selbstauskunft von zwei Stunden überschätzt den Effekt um ein Drittel.

## Welche Reifegrade gibt es bei der KI-Nutzung?

Vier Reifegrade beschreiben, wie weit eine Organisation von der Nutzung zur Wirkung gekommen ist. Auf Stufe eins nutzen einzelne Mitarbeitende Werkzeuge nach eigenem Ermessen, Wirkung ist nicht bekannt. Auf Stufe zwei gibt es eine gemeinsame Auswahl von Werkzeugen und erste Regeln, aber keine Aufgabenliste und keine Kennzahl. Auf Stufe drei sind Aufgaben mit hohem Hebel benannt und Prozesse angepasst, außerdem sind Ausgangswerte erhoben. Auf Stufe vier misst der Fachbereich die Wirkung laufend, verwendet den Zeitgewinn gezielt und überprüft quartalsweise, welche Anwendungen bleiben.

**Reifegrade der KI-Nutzung**
Kriterium | Stufe 1 und 2: Nutzung nach Ermessen | Stufe 3 und 4: Gesteuerte Nutzung | Mit Niehues Consulting
Aufgabenwahl | Nach Neugier und Zufall | Liste von Aufgaben mit hohem Hebel | Priorisierung nach Wert und Machbarkeit
Prozess | Unverändert | An das Werkzeug angepasst | Rollen und Übergaben sowie Freigaben im Ablauf
Messung | Nutzungszahlen | Ausgangswert und Kennzahl je Aufgabe, ab Stufe 4 laufend | Kennzahl nach 90 Tagen mit Eigentümer
Zeitgewinn | Verteilt sich | Verwendung im Plan festgelegt | Nettogewinn nach Prüfaufwand
Verantwortung | Keine oder nur für Werkzeug und Regeln | Eigentümer im Fachbereich | Betrieb ab dem ersten Tag geklärt

## Wie kommt eine Organisation von der Nutzung zur Wirkung?

Eine Organisation kommt von der Nutzung zur Wirkung, wenn sie in fünf Schritten vorgeht. Der erste Schritt erhebt, welche Aufgaben die Mitarbeitenden heute mit KI erledigen, und trennt sie nach Hebel. Der zweite benennt für zwei bis drei Aufgaben je Bereich einen Ausgangswert und eine Kennzahl. Der dritte passt den Prozess an: Wer prüft, wer gibt frei, wohin fließt das Ergebnis? Der vierte schult die Mitarbeitenden an diesen Aufgaben, einschließlich der Frage, wo das Werkzeug versagt. Der fünfte misst nach 90 Tagen den Nettogewinn und entscheidet über die Verwendung der gewonnenen Zeit.

**Prüfliste: Ist die Nutzung bei uns wirksam?**
- Gibt es eine Liste der Aufgaben, bei denen KI eingesetzt werden soll, mit Begründung?
- Liegt je Aufgabe ein Ausgangswert vor, der vor der Einführung erhoben wurde?
- Ist der Aufwand für Prüfung und Korrektur gemessen und abgezogen?
- Hat der Fachbereich entschieden, wofür der gewonnene Zeitanteil verwendet wird?
- Gibt es einen Eigentümer, der die Kennzahl nach 90 Tagen vorlegt?

Wer beim Thema Hype und Wirklichkeit weiter einsteigen möchte, findet im Beitrag zum Jahr nach dem Start von ChatGPT eine [nüchterne Betrachtung](/blog/chatgpt-unternehmen-jahr-hype-nuechtern-betrachtet/) der Erwartungen.

## KI-Nutzung mit Niehues Consulting

[Niehues Consulting](/) ist eine Beratung für KI-Management und Organisationsdesign aus der Lieferperspektive mit Sitz in Düsseldorf. Gründer Marin Niehues bringt KI in den Betrieb, in Projekten von VC-finanzierten Scaleups bis zu DAX-40-Konzernen und in über 20 Ländern auf sechs Kontinenten. Im Leistungsfeld KI-Management gehören Business Analysis, Business Case sowie Auswahl und Reihenfolge der Anwendungen dazu, im Leistungsfeld Einführung die Befähigung der Nutzer und die Anpassung der Abläufe.

Das Vorgehen folgt dem Niehues Delivery Model mit drei Phasen. Für die Lücke zwischen Nutzung und Nutzen zählen drei Prüffragen: Was ist der Ausgangswert, und woran messen wir den Erfolg? Sind die Nutzer befähigt und die Abläufe angepasst? Welche Kennzahl zeigt nach 90 Tagen, dass die Lösung ankommt? Den Einstieg bildet eine kostenfreie Erstberatung von 30 Minuten, die Sie über den [Kontakt](/#kontakt) vereinbaren. Umfang und Konditionen eines Vorhabens werden in der kostenfreien Erstberatung besprochen.

**Fazit**
Nutzung und Nutzen fallen auseinander, wenn Zeitgewinn ohne Verwendung bleibt, Aufgaben nicht zum Werkzeug passen, der Prozess unverändert ist und niemand misst. Ein Reifegradmodell mit vier Stufen und eine Prüfliste zeigen, wo die Organisation steht. Wirkung entsteht an der einzelnen Aufgabe, mit Ausgangswert und Kennzahl sowie Eigentümer.

**Grundlage**
- Brynjolfsson, Li, Raymond: Generative AI at Work, NBER Working Paper 31161, 2023
- Noy, Zhang: Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence, Science, 2023
- Dell'Acqua et al.: Navigating the Jagged Technological Frontier, Harvard Business School Working Paper, 2023

## Häufige Fragen

### Warum bringt KI in meinem Unternehmen keinen messbaren Nutzen?

KI bringt keinen messbaren Nutzen, wenn Aufgabe und Prozess sowie Messung nicht auf das Werkzeug eingerichtet sind. Die häufigsten Ursachen sind ein Zeitgewinn ohne Verwendung, ungeeignete Aufgaben, ein unveränderter Ablauf und fehlende Kennzahlen. Eine Prüfung dieser vier Punkte zeigt, wo die Lücke liegt.

### Wie misst man den Nutzen von KI im Unternehmen?

Den Nutzen misst man an einer Kennzahl je Aufgabe, die vor der Einführung als Ausgangswert erhoben wurde. Gemessen wird der Nettogewinn nach Abzug von Prüf- und Korrekturaufwand, die Zahl der Nutzer oder Anfragen liefert dafür keinen Beleg. Nach 90 Tagen zeigt ein Vergleich mit dem Ausgangswert, ob die Lösung ankommt.

### Wie viel Produktivität bringt generative KI?

Studien zeigen für passende Aufgaben Zuwächse von 14 Prozent in einem Kundenservice und rund 40 Prozent Zeitersparnis bei Schreibaufgaben. Bei Aufgaben außerhalb der KI-Fähigkeiten sank dagegen die Trefferquote um 19 Prozentpunkte. Der Effekt entsteht an der einzelnen Aufgabe, und er muss im Unternehmen gemessen werden.

### Warum nutzen Mitarbeitende KI, aber der Nutzen bleibt aus?

Mitarbeitende nutzen KI aus Neugier oder Zeitdruck an Aufgaben, die nicht den größten Hebel haben, und der Prozess drumherum bleibt gleich. Der Zeitgewinn verteilt sich dann auf andere Tätigkeiten. Wirkung entsteht, wenn der Fachbereich Aufgaben auswählt und die gewonnene Zeit einplant.

### Wie viel Zeit spart KI wirklich?

Nach Abzug von Prüfung und Korrektur bleibt oft ein deutlich kleinerer Gewinn als die Selbstauskunft vermuten lässt. Im Rechenbeispiel dieses Beitrags sinken zwei gesparte Stunden je Woche auf 1,5 Stunden netto. Messen Sie die Zeit in einer Stichprobe, bevor Sie hochrechnen.

### Was ist ein Reifegradmodell für KI-Nutzung?

Ein Reifegradmodell für KI-Nutzung beschreibt in vier Stufen den Weg von der Einzelnutzung über gemeinsame Regeln und gesteuerte Nutzung bis zur laufenden Wirkungsmessung. Jede Stufe hat Kriterien zu Aufgabenwahl und Prozess sowie Messung und Verantwortung. Es zeigt, welcher Schritt als Nächstes ansteht.

### Wer sollte für den Nutzen von KI im Fachbereich verantwortlich sein?

Verantwortlich ist der Eigentümer der Kennzahl im Fachbereich, meist die Bereichsleitung. Die IT liefert Technik und Betrieb, der Fachbereich entscheidet über Aufgaben und Verwendung des Zeitgewinns. Ohne diesen Eigentümer bleibt die Nutzung eine Sammlung von Einzelinitiativen.

### Wie lange dauert es, bis KI-Nutzung Wirkung zeigt?

Eine erste Aussage zur Wirkung ist nach 90 Tagen möglich, wenn Ausgangswert und Kennzahl vor dem Start festgelegt wurden. Der Zeitraum gilt für eine begrenzte Aufgabe in einem Bereich. Weitere Bereiche folgen, sobald die erste Anwendung im Regelbetrieb läuft.