Devin und KI-Softwareentwickler: Was die Demos über Entwicklerjobs sagen

Devin zeigt, dass KI-Agenten klar umrissene Programmieraufgaben teilweise selbstständig lösen, aber nur ein kleiner Teil der Aufgaben gelingt ohne menschliche Nacharbeit. Für Entscheider heißt das: Die Demos belegen eine neue Fähigkeit und noch keinen Ersatz für Entwicklerteams. Ob ein solcher Agent Zeit spart, zeigen die Erfolgsquote und der Prüfaufwand, und beides lässt sich vor einer Investition am eigenen Code messen.

Dieser Beitrag ordnet die Ankündigung von Devin ein, rechnet die Wirtschaftlichkeit eines KI-Softwareentwicklers durch und gibt Entscheidern eine Prüfliste für einen Pilot an die Hand. Der Druck ist real: Die Vorführvideos verbreiten sich schnell, und mit ihnen die Frage, ob die eigene Entwicklung noch richtig aufgestellt ist. Sie verdient eine Antwort mit Zahlen.

Was hat Devin gezeigt und was ist belegt?

Das Unternehmen Cognition hat am 12. März 2024 Devin vorgestellt und als ersten KI-Softwareentwickler bezeichnet. Der Agent arbeitet in einer eigenen Umgebung mit Konsole und Code-Editor sowie Browser, plant eine Aufgabe in Schritten, schreibt Code, führt Tests aus und korrigiert Fehler. In den Vorführungen löst er Aufgaben wie das Einrichten einer Anwendung, das Beheben eines Fehlers in einem Open-Source-Projekt und das Bearbeiten einer Projektbeschreibung einer Freelancer-Plattform. Zugang erhalten bisher nur ausgewählte Anfragende.

Belegt ist ein Ergebnis auf einem öffentlichen Testverfahren. Die Benchmark SWE-Bench, 2023 von einer Forschergruppe um Carlos Jimenez vorgestellt, umfasst 2.294 echte Fehlermeldungen und Änderungswünsche aus zwölf verbreiteten Python-Projekten. Ein System gilt als erfolgreich, wenn seine Änderung die zugehörigen Tests besteht. Nach dem technischen Bericht von Cognition vom 15. März 2024 löste Devin 79 von 570 zufällig gezogenen Aufgaben und kommt auf 13,86 Prozent, ohne dass ihm die betroffenen Dateien genannt wurden. Das zuvor beste veröffentlichte Ergebnis ohne solche Hilfe lag bei 1,96 Prozent. Das ist ein großer Sprung, und er bedeutet zugleich, dass mehr als 86 Prozent der Aufgaben ungelöst blieben.

Bei der Einordnung zählen zwei Punkte. Die Messung stammt vom Hersteller selbst und wurde bisher nicht unabhängig wiederholt. Und die Testaufgaben stammen aus zwölf Open-Source-Projekten in Python und bringen jeweils Testfälle mit, was in gewachsenen Unternehmenssystemen selten der Fall ist. Wie Entscheider mit Erfolgsmeldungen dieser Art umgehen, beschreibt der Beitrag zu KI-Erfolgsgeschichten prüfen.

Ersetzt ein KI-Softwareentwickler Entwickler?

Ein KI-Softwareentwickler ersetzt nach den vorliegenden Belegen keine Entwicklerteams, weil Softwareentwicklung aus mehr besteht als dem Bearbeiten vorbereiteter Tickets. Zu den Aufgaben eines Teams gehören das Klären von Anforderungen mit Fachbereichen sowie Entwurf und Abwägung der Architektur, die Abstimmung mit anderen Teams und der Betrieb samt Fehlersuche im laufenden System. Die Demos zeigen Fortschritt bei einem Teil davon: bei der Umsetzung klar umrissener Aufgaben im bekannten Code.

Für diese Teilaufgabe liegen Belege vor, dass KI-Werkzeuge Entwickler beschleunigen. In einem kontrollierten Experiment von Forschern bei Microsoft Research, GitHub und dem MIT lösten Entwickler mit dem Assistenten GitHub Copilot eine Programmieraufgabe, einen Webserver in JavaScript zu schreiben, im Mittel 55,8 Prozent schneller als die Vergleichsgruppe. Die Studie von Peng und Kollegen erschien 2023 und misst eine abgegrenzte Aufgabe, nicht den Alltag eines Teams. Sie zeigt aber, wohin die Entwicklung läuft: Die Arbeit verschiebt sich vom Schreiben zum Formulieren, Prüfen und Entscheiden.

Daraus folgen Konsequenzen für Rollen. Wenn Code schneller entsteht, wird der Engpass das Prüfen: Wer versteht, ob eine Änderung richtig ist, und wer verantwortet sie? Der Anteil der Zeit, die Erfahrene in Reviews und Spezifikation sowie Architektur verbringen, steigt. Erfahrung gewinnt damit an Wert. Beachten Sie auch die Folgen für die Codebasis: Wer Code in großer Menge erzeugt, erzeugt auch Schulden in großer Menge, wie der Beitrag zu technischen Schulden zeigt.

Wie rechnet sich ein KI-Agent für Software?

Ein KI-Agent spart Zeit, wenn die Erfolgsquote mal Aufgabenaufwand größer ist als der Prüfaufwand je Versuch. Der Rechenweg ist einfach: Die erwartete Ersparnis je Versuch ergibt sich aus der Erfolgsquote mal den Stunden, die ein Mensch für die Aufgabe bräuchte, abzüglich der Stunden, die ein Mensch für die Prüfung des Ergebnisses braucht. Die Prüfung fällt bei jedem Versuch an, auch bei gescheiterten. Das folgende Beispiel ist illustrativ.

Der Break-even liegt bei Prüfaufwand geteilt durch Aufgabenaufwand: 0,5 geteilt durch 4 sind 12,5 Prozent. Eine Erfolgsquote auf dem Niveau der veröffentlichten Benchmark liegt also an dieser Schwelle, und jede Verbesserung der Quote oder Senkung des Prüfaufwands verschiebt das Ergebnis deutlich. Wichtiger als die Quote auf einer fremden Benchmark ist Ihre eigene Quote an Ihren Aufgaben. Dort entscheiden Testabdeckung und Dokumentation sowie der Zuschnitt der Aufgaben. Der Wert der gesparten Zeit hängt zudem an einer Frage, die der Beitrag zu Sora und generativen Videos für KI-Ankündigungen allgemein stellt: Was wäre der Nutzen, wenn die Ankündigung hält, und was kostet es, zu früh oder zu spät zu handeln?

Wie prüfen Sie einen KI-Softwareentwickler in einem Pilot?

Prüfen Sie einen KI-Softwareentwickler mit einem begrenzten Pilot an echten Aufgaben Ihres eigenen Codes, mit vorab festgelegten Messgrößen. Wählen Sie 30 bis 50 abgeschlossene Aufgaben mit Testfällen aus dem letzten Jahr, lassen Sie den Agenten sie bearbeiten und messen Sie die Erfolgsquote und den Prüfaufwand. Die Zahlen setzen Sie in den Rechenweg ein.

Der Reifegrad lässt sich nicht überspringen. Ein Team, das Assistenten noch ohne Regeln nutzt, hat für Agenten weder Messung noch Prüfpfad. Wie Sie Hype und Fortschritt unterscheiden, beschreibt der Beitrag zum KI-Hype-Zyklus.

Was bedeutet das für Entwicklerjobs?

Für Entwicklerjobs bedeutet es eine Verschiebung der Schwerpunkte und kein Ende des Berufs: Wiederholbare Umsetzungsarbeit wird schneller, Spezifikation und Prüfung sowie Architektur gewinnen an Gewicht. Die Anforderungen an Erfahrung steigen, weil jemand beurteilen muss, ob erzeugter Code richtig ist. Für Führungskräfte stellt sich die Frage, wie Nachwuchs lernt, wenn einfache Aufgaben wegfallen. Hier lohnt es sich, frühzeitig Wege zu schaffen, auf denen Berufseinsteiger Prüfen und Verstehen üben.

Die Planung der Kapazität sollte auf Messwerten beruhen. Wer Stellen streicht, weil ein Video überzeugt, entscheidet ohne Messung. Wer einen Pilot fährt, hat in einem Quartal Zahlen für die eigene Organisation.

Devin und KI-Softwareentwickler mit Niehues Consulting

Niehues Consulting ist eine Beratung für KI-Management und Organisationsdesign aus der Lieferperspektive mit Sitz in Düsseldorf. Gründer Marin Niehues bringt KI in den Betrieb, in Projekten von VC-finanzierten Scaleups bis zu DAX-40-Konzernen und in über 20 Ländern auf sechs Kontinenten. Im Leistungsfeld KI-Management gehören Business Analysis, Business Case sowie Auswahl und Reihenfolge der Anwendungen zur Arbeit, bei Prototypen und Einführung die Befähigung der Nutzer und die Verantwortung im Betrieb.

Das Vorgehen folgt dem Niehues Delivery Model. Für KI in der Softwareentwicklung zählen drei seiner Prüffragen: Was ist der Ausgangswert, und woran messen wir den Erfolg? Beweist der Prototyp den Nutzen im echten Ablauf mit echten Daten? Ist der Business Case mit realen Werten bestätigt? Umfang und Konditionen eines Vorhabens werden in der kostenfreien Erstberatung besprochen, die 30 Minuten dauert und über den Kontakt vereinbart wird.