Coding-Agenten werden häufig mit sauber formulierten, informationsreichen Aufgaben bewertet. Im Alltag erhalten sie dagegen kurze, informelle Tickets oder Chat-Nachrichten. Genau diese Lücke untersucht RealSWE. Die Primärarbeit variiert bei 381 Aufgabenfamilien Informationsgehalt und Sprachstil, während Aufgabe und Gold-Patch gleich bleiben. Das zentrale Ergebnis für Unternehmen: Ein Agent, der im Benchmark führt, muss unter den tatsächlichen Eingaben der eigenen Teams nicht dieselbe Position halten.
Was RealSWE über die Benchmark-Lücke zeigt
Die Autoren berichten, dass problemorientierte Anfragen mit wenig Zusatzkontext 88 Prozent der untersuchten realen Prompts ausmachen, aber nur 7 Prozent der betrachteten Benchmark-Aufgaben. Auch der Stil unterscheidet sich: 87 Prozent der realen Anfragen seien informell formuliert, während 94 Prozent der Benchmark-Probleme formal geschrieben seien. Damit testet ein klassischer Benchmark oft eine andere Eingangssituation als die, die in einem Unternehmenschat oder Ticketsystem entsteht.
Bei sieben untersuchten Modellen reduzierten realistischere Eingaben die Lösungsrate im Mittel um 6,4 Prozentpunkte. Zudem konnte sich die Rangfolge der Modelle verändern. Das ist geschäftlich relevant: Beschaffung und Rollout dürfen nicht allein auf einer öffentlichen Rangliste beruhen, wenn die Belegschaft dem Agenten deutlich weniger strukturierte Informationen liefert.
Mehr Kontext ist nicht automatisch besser
Die kontrollierte Analyse der Autoren differenziert zwischen nützlichen und lediglich längeren Eingaben. Die explizite Nennung des gewünschten Verhaltens und der Motivation verbesserte die Leistung. Zusätzliche Umgebungsinformationen und Reproduktionsschritte brachten im untersuchten Aufbau dagegen keinen messbaren Zusatznutzen. Daraus folgt nicht, dass technische Details generell entfallen dürfen. Es folgt vielmehr, dass Unternehmen prüfen sollten, welche Informationsarten ihren konkreten Agenten zuverlässig helfen.
Für den Betrieb ist das eine Kostenfrage. Lange Pflichtformulare erhöhen Erfassungsaufwand und Tokenverbrauch. Zu knappe Aufgaben erhöhen möglicherweise Rückfragen, Fehlversuche und Review-Aufwand. Die richtige Vorlage ist daher nicht maximal ausführlich, sondern enthält genau die Informationen, die im eigenen Replay nachweislich zur Lösung beitragen.
Eine schlanke Auftragsvorlage für Coding-Agenten
RealSWE legt nahe, zwei oft fehlende Elemente verbindlich zu machen: das gewünschte Verhalten und den Grund für die Änderung. Eine praxistaugliche Vorlage kann mit fünf Feldern beginnen. Pflicht und Optionalität sollten danach anhand eigener Tests angepasst werden.
- Problem: Was funktioniert aktuell nicht oder welche Fähigkeit fehlt?
- Gewünschtes Verhalten: Welches beobachtbare Ergebnis soll nach der Änderung eintreten?
- Motivation: Welches Nutzer-, Prozess- oder Geschäftsproblem wird damit gelöst?
- Akzeptanzgrenze: Welche Tests, Sicherheitsregeln und unveränderlichen Bereiche sind einzuhalten?
- Zusatzkontext bei Bedarf: Relevante Umgebung oder Reproduktionsschritte nur dann, wenn sie für Diagnose und Prüfung notwendig sind.
Diese Struktur darf nicht mit einer automatischen Freigabe verwechselt werden. Der Agent kann Code vorschlagen, Tests ausführen und eine Änderung erklären; Merge-Rechte, sensible Pfade und produktive Deployments bleiben getrennte Kontrollpunkte. So verbessert eine bessere Aufgabenbeschreibung die Arbeitsgrundlage, ohne die Governance aufzuweichen.
So entsteht ein realistischer Unternehmens-Benchmark
Der stärkste Mehrwert von RealSWE liegt nicht in einer neuen universellen Rangliste, sondern in seinem Variantenprinzip. Unternehmen können dieselbe Aufgabe mehrfach formulieren und dadurch messen, wie abhängig ein Agent von Informationsdichte und Sprache ist. Die Gold-Lösung beziehungsweise der erwartete Patch bleibt konstant; nur die Eingabe verändert sich.
- Erstellen Sie ein freigegebenes Set typischer Fehlerbehebungen und kleiner Änderungen aus dem eigenen Entwicklungsalltag.
- Bilden Sie pro Aufgabe eine kurze reale Fassung, eine strukturierte Fassung und eine Variante mit gewünschtem Verhalten und Motivation.
- Testen Sie alle Modell- und Agentenkandidaten mit identischer Laufzeit, Werkzeugausstattung, Berechtigung und Wiederholungszahl.
- Bewerten Sie nicht nur gelöste Aufgaben, sondern auch unnötige Änderungen, Testabdeckung, Rückfragen, Laufzeit und menschliche Nacharbeit.
- Halten Sie ein unverändertes Kontrollset zurück, damit spätere Prompt- oder Harness-Anpassungen nicht nur auf bekannte Fälle optimiert werden.
Entscheidungskriterien für Auswahl und Rollout
Ein Modellwechsel ist gerechtfertigt, wenn der Kandidat unter realistischen Eingaben fachlich besser oder bei gleicher Qualität wirtschaftlicher arbeitet. Bleibt die Leistung nur mit stark redigierten Aufgaben stabil, muss der zusätzliche Vorbereitungsaufwand in die Gesamtkosten einfließen. Ändert sich die Rangfolge zwischen formalen Benchmarks und realen Anfragen, sollte die lokale Auswertung Vorrang für die konkrete Beschaffung haben.
- Go, wenn realistische Prompts die vereinbarte Lösungs- und Sicherheitsgrenze zuverlässig erreichen.
- Nachbessern, wenn gewünschtes Verhalten oder Motivation regelmäßig fehlen und eine einfache Eingabemaske das Problem behebt.
- Stoppen, wenn Ergebnisse stark vom Schreibstil einzelner Mitarbeitender abhängen oder riskante Nebenänderungen zunehmen.
- Zurückrollen, wenn ein Modell-, Agenten- oder Harness-Update das unveränderte Kontrollset messbar verschlechtert.
RealSWE verschiebt damit die entscheidende Frage: nicht „Welcher Coding-Agent gewinnt SWE-bench?“, sondern „Welcher Agent löst unsere Aufgaben mit den Eingaben, die unsere Teams tatsächlich liefern?“ Wer reale Formulierungen, Informationsvarianten und betriebliche Kosten gemeinsam testet, reduziert Benchmark-Blindflug und gestaltet zugleich bessere Arbeitsaufträge. Die veröffentlichten Studienwerte sind dafür ein starkes Signal; die Freigabe muss trotzdem aus dem eigenen, reproduzierbaren Test entstehen.