Gemini gegen GPT-4: Warum der Modellwettlauf für Unternehmen zweitrangig ist

Gemini ist seit dieser Woche angekündigt, doch über den Nutzen von KI entscheidet im Unternehmen vor allem der Ablauf, in dem das Modell arbeitet. Die Qualitätsunterschiede zwischen den führenden Modellen wechseln innerhalb von Monaten, die Kosten für Einführung und Veränderung der Arbeit bleiben bestehen. Wer ein Modell nach sechs Kriterien auswählt, mit einem Test auf eigenen Aufgaben, und den Wechsel offenhält, trifft die Entscheidung einmal sauber und muss sie nicht bei jeder Ankündigung neu führen.

Am 6. Dezember hat Google sein Modell Gemini vorgestellt, in drei Größen für unterschiedliche Einsatzorte: Ultra für anspruchsvolle Aufgaben, Pro für breite Anwendungen und Nano für Geräte wie Smartphones. Google nennt in seiner Ankündigung für Ultra bessere Werte als GPT-4 in gängigen Vergleichstests und hebt hervor, dass das Modell von Beginn an Text, Bild, Ton, Video sowie Programmcode gemeinsam verarbeitet. Die größte Ausbaustufe Ultra soll im kommenden Jahr folgen, Pro ist bereits Teil des Chatassistenten Bard. Für Geschäftsführungen stellt sich damit die Frage, ob sie ihre Entscheidung für GPT-4 oder einen anderen Anbieter überdenken müssen. Dieser Beitrag beantwortet sie mit Kriterien und mit einem Test, den Sie selbst durchführen können.

Ist Gemini besser als GPT-4?

Ob Gemini besser ist als GPT-4, belegen zum Zeitpunkt der Ankündigung nur die Vergleichstests, die Google veröffentlicht hat, und für Ihre Aufgaben liegt noch kein Ergebnis vor. Die Ergebnisse stammen vom Anbieter selbst, die größte Ausbaustufe steht erst im kommenden Jahr zur Verfügung, und ein Vergleichstest misst allgemeine Fähigkeiten, etwa Wissensfragen oder Rechenaufgaben, die mit einer Angebotserstellung oder einer Reklamationsbearbeitung wenig gemeinsam haben. Aussagekräftig wird ein Vergleich erst, wenn beide Modelle dieselben Aufgaben aus Ihrem Geschäft lösen müssen.

Dazu kommt die Geschwindigkeit des Feldes. GPT-4 erschien im März dieses Jahres, im November kündigte OpenAI eine schnellere Variante mit deutlich größerem Kontextfenster an, andere Anbieter ziehen mit eigenen Modellen nach. Jede dieser Meldungen verschiebt die Rangfolge für einige Monate. Eine Entscheidung, die an der aktuellen Spitzenposition hängt, ist nach kurzer Zeit überholt. Wie solche Meldungen einzuordnen sind, beschreibt der Beitrag zum KI-Hype-Zyklus.

Welche Kriterien zählen bei der Modellwahl?

Bei der Modellwahl zählen sechs Kriterien, von denen die Rangliste der Vergleichstests nur eines abdeckt. Die Tabelle fasst sie zusammen und zeigt, welche Frage jeweils zu stellen ist.

Gemessen am Ergebnis hat das erste Kriterium das größte Gewicht, aber die übrigen fünf entscheiden darüber, ob die Anwendung im Betrieb bleibt. Ein Modell mit hervorragender Qualität, das sich nicht in die vorhandene Plattform einbinden lässt oder dessen Betriebskosten das Einsparpotenzial übersteigen, scheitert an Kriterien, die in keiner Ankündigung vorkommen.

Wie testet man Modelle mit eigenen Aufgaben?

Sie testen Modelle, indem Sie 30 bis 50 echte Aufgaben aus einem Ablauf sammeln, jedes Modell dieselben Aufgaben lösen lassen und die Ergebnisse blind durch den Fachbereich bewerten lassen. Blind heißt, dass die Bewertenden nicht wissen, welches Modell welche Antwort geliefert hat. Der Test dauert je nach Aufgabe wenige Tage und liefert drei Zahlen: den Anteil der Antworten, die ohne Korrektur verwendbar sind, den Anteil mit kleiner Korrektur und den Anteil, der verworfen wird.

Der Test bringt mehr als einen Modellvergleich. Er zeigt, wie viel Nacharbeit im Ablauf bleibt, und damit die Zahl, die der Business Case braucht. Ein Beispiel mit illustrativen Werten: Von 40 Aufgaben liefert Modell A 24 verwendbare Antworten, 10 mit kleiner Korrektur und 6 unbrauchbare. Modell B kommt auf 26, 9 und 5. Der Unterschied von zwei Aufgaben liegt in der Größenordnung dessen, was schon eine andere Formulierung der Anweisung bewirken kann. Interessanter ist, dass bei beiden Modellen etwa jede vierte Aufgabe Nacharbeit braucht, und dass die Einführung diese Nacharbeit in einen Prüfschritt des Ablaufs überführen muss.

Was bringt KI tatsächlich im Betrieb?

Der Nutzen entsteht im Ablauf, und er ist belegt, wenn ein Werkzeug in einen konkreten Prozess eingebettet wird. Eine Feldstudie mit über 5.000 Servicekräften in einem Kundenservice zeigt, dass ein KI-Assistent, der auf einem Sprachmodell aufbaut und Antworten vorschlägt, die Zahl der gelösten Anfragen je Stunde im Durchschnitt um 14 Prozent steigerte. Bei Neulingen und weniger erfahrenen Beschäftigten lag der Zuwachs bei 34 Prozent. Die Studie untersuchte einen Assistenten, der in die Arbeitsoberfläche der Servicekräfte eingebaut war, und kein frei verfügbares Chatfenster.

Die Lehre für Entscheider: Der Effekt kam aus dem Zusammenspiel von Modell, Ablauf sowie Menschen, die damit arbeiten. Das Modell war ein Baustein unter mehreren. Ein Unternehmen, das monatelang über Modelle diskutiert, aber keinen Ablauf bestimmt, in dem die KI eine Aufgabe übernimmt, erzielt keinen Nutzen, egal wie die Rangliste aussieht. Wie ein Jahr Erfahrung mit ChatGPT das bestätigt, zeigt der Beitrag zu ChatGPT im Unternehmen, und welche Zusatzfunktionen in Büroanwendungen hinzukommen, beschreibt der Beitrag zu Microsoft 365 Copilot.

Wie sollte ein Unternehmen mit dem Modellwettlauf umgehen?

Ein Unternehmen sollte den Modellwettlauf beobachten, aber so bauen, dass ein Wechsel möglich bleibt. Konkret heißt das: Anwendungen führen das Modell als austauschbaren Baustein, die Anweisungen und Testaufgaben liegen im Unternehmen, und der Fachbereich kann nach einer Ankündigung binnen weniger Tage prüfen, ob ein anderes Modell besser abschneidet. Eine Entscheidung für einen Anbieter ist dann eine Entscheidung auf Zeit, die bei jeder Überprüfung des Portfolios bestätigt oder geändert wird.

Zugleich sollte die Geschäftsführung dem Druck widerstehen, jede Ankündigung mit einem Projekt zu beantworten. Wie sich ein solcher Druck in einen Plan übersetzen lässt, beschreibt der Beitrag zu den Fragen der Gesellschafter an die Geschäftsführung. Die dort genannten acht Fragen gelten unabhängig vom Modell.

Modellwahl und Einführung mit Niehues Consulting

Niehues Consulting ist eine Beratung für KI-Management und Organisationsdesign aus der Lieferperspektive mit Sitz in Düsseldorf. Gründer Marin Niehues bringt KI in den Betrieb, in Projekten von VC-finanzierten Scaleups bis zu DAX-40-Konzernen und in über 20 Ländern auf sechs Kontinenten. Im Leistungsfeld KI-Prototypen, Operationalisierung und Einführung baut Niehues Consulting Anwendungen so, dass das Modell ein austauschbarer Baustein bleibt und der Nutzen im Ablauf entsteht.

Das Vorgehen folgt dem Niehues Delivery Model mit drei Phasen. Für die Modellwahl zählen drei Prüffragen: Beweist der Prototyp den Nutzen im echten Ablauf mit echten Daten? Wer verantwortet den Betrieb ab dem ersten Tag? Welche Kennzahl zeigt nach 90 Tagen, dass die Lösung ankommt? Die Antworten sind unabhängig davon, welches Modell am Ende gewählt wird. Den Einstieg bildet eine kostenfreie Erstberatung von 30 Minuten, die Sie über den Kontakt vereinbaren.