Langfristige KI-Agenten bewerten: Prozess statt End-Score

Ein aktueller Preprint untersucht KI-Agenten für langfristige Forschungs- und Entwicklungsaufgaben systematisch entlang ihres Prozesses und nicht ausschließlich anhand finaler Benchmark-Werte. Das ist für Unternehmen ein wichtiger Perspektivwechsel. Bei Aufgaben, die über viele Schritte, Quellen und Zwischenentscheidungen laufen, sagt ein gutes Endergebnis allein wenig darüber aus, ob der Weg dorthin kontrollierbar, wiederholbar und wirtschaftlich war.

Die verfügbare Quellenbeschreibung bestätigt diesen prozessorientierten Bewertungsansatz. Sie liefert jedoch keine belastbare Grundlage, um hier konkrete Resultate, Ranglisten, Fehlerraten oder einzelne Messverfahren des Preprints wiederzugeben. Der folgende Unternehmensrahmen ist deshalb ausdrücklich eine GNS-Ableitung: Er zeigt, welche Prüfpunkte Entscheider für eigene Agentenpiloten definieren können, ohne diese Punkte als Inhalt oder Ergebnis der Forschungsarbeit auszugeben.

Warum ein End-Score für langfristige Agenten nicht genügt

Ein End-Score verdichtet einen Lauf auf ein Ergebnis. Verloren gehen dabei häufig die Fragen, die im Betrieb entscheidend sind: Hat der Agent den Auftrag richtig verstanden? Waren seine Quellen zulässig und aktuell? Hat er Sackgassen erkannt? Wurden Zwischenstände geprüft? Und lässt sich rekonstruieren, warum er eine Hypothese verworfen oder eine technische Änderung vorgenommen hat? Zwei Läufe können dasselbe Resultat erreichen und trotzdem ein völlig unterschiedliches Betriebsrisiko erzeugen.

Gerade in Forschung und Entwicklung entstehen Fehler oft nicht erst im letzten Schritt. Eine unklare Aufgabenabgrenzung, eine schwache Quelle oder eine früh falsche Annahme kann sich durch den gesamten Lauf ziehen. Wird nur das Endprodukt bewertet, bleibt dieser Fehlerpfad verborgen. Daraus lässt sich ableiten: Unternehmen brauchen neben einer Ergebnisprüfung auch Zwischenkontrollen, die Fortschritt, Evidenz, Entscheidungen und Ressourceneinsatz sichtbar machen.

Fünf Phasen für eine prüfbare Prozessbewertung

Für einen Pilot lässt sich der Agentenlauf in fünf Phasen zerlegen. Dieses Modell ist kein behauptetes Verfahren des Preprints, sondern ein praktischer GNS-Rahmen für Unternehmen. Jede Phase erzeugt ein kleines, prüfbares Artefakt. So kann ein Lauf unterbrochen, korrigiert oder an einen Menschen übergeben werden, bevor Zeit, Budget oder sensible Daten unnötig eingesetzt werden.

1. Auftragsklärung: Ziel, zulässiger Umfang, Abbruchbedingungen, Datenklassen und gewünschte Ausgabe werden vor dem Start festgehalten. Der Agent muss offene Punkte benennen, statt sie stillschweigend zu ergänzen.
2. Planung: Der Agent erstellt überprüfbare Arbeitsschritte, Abhängigkeiten und Prüfpunkte. Ein Verantwortlicher entscheidet, welche Schritte autonom laufen dürfen und welche eine Freigabe benötigen.
3. Recherche und Evidenz: Quellen werden mit Herkunft, Datum und Verwendungszweck protokolliert. Beobachtungen, Ableitungen und Hypothesen bleiben getrennt, damit Vermutungen nicht zu Fakten werden.
4. Ausführung und Anpassung: Toolaufrufe, Änderungen, verworfene Wege und relevante Zwischenentscheidungen werden nachvollziehbar erfasst. Wiederholte Sackgassen oder Grenzwertüberschreitungen lösen einen Stopp aus.
5. Validierung und Übergabe: Ergebnis, offene Risiken, Gegenbelege und unerledigte Punkte werden gemeinsam geprüft. Erst danach darf das Resultat in einen Fachprozess übernommen oder für den nächsten Lauf freigegeben werden.

Die Phasen machen nicht jeden Zwischengedanken zum Audit-Ereignis. Das wäre teuer und kaum nutzbar. Dokumentiert werden sollten vielmehr jene Zustandswechsel, die eine Entscheidung, einen Rechtewechsel, einen wesentlichen Ressourceneinsatz oder eine irreversible Wirkung auslösen. Damit bleibt die Kontrolle auf die geschäftlich relevanten Punkte konzentriert.

Eine Scorecard, die Qualität und Betrieb zusammenführt

Die Bewertung sollte Ergebnisqualität und Prozessqualität getrennt ausweisen. Ein fachlich brauchbares Resultat kann aus einem unsicheren Prozess stammen; ein sauber dokumentierter Lauf kann dennoch am Ziel vorbeigehen. Erst die Kombination erlaubt eine belastbare Entscheidung. Für einen wiederkehrenden Aufgabentyp sollten Unternehmen vorab Schwellenwerte festlegen und mehrere vergleichbare Läufe prüfen, statt einen spektakulären Einzelfall zu bewerten.

• Zieltreue: Deckt das Ergebnis den freigegebenen Auftrag ab, ohne den Umfang unkontrolliert zu erweitern?
• Evidenzqualität: Sind zentrale Aussagen durch zulässige, auffindbare und hinreichend aktuelle Quellen gestützt?
• Korrekturfähigkeit: Erkennt und behebt der Agent Fehler nach einem Checkpoint, ohne neue Widersprüche zu erzeugen?
• Prozessstabilität: Bleiben Planänderungen, Wiederholungen und Toolfehler innerhalb definierter Grenzen?
• Ressourceneffizienz: Stehen Laufzeit, Modell- und Toolkosten sowie menschlicher Prüfaufwand im Verhältnis zum Nutzen?
• Übergabequalität: Sind Ergebnis, Unsicherheiten, offene Aufgaben und getroffene Entscheidungen für den nächsten Verantwortlichen verständlich?

Wichtig ist, diese Kriterien nicht vorschnell in eine einzige Zahl zu pressen. Ein hoher Durchschnitt darf kein kritisches Sicherheits- oder Evidenzproblem verdecken. Sinnvoller ist eine Scorecard mit harten Ausschlusskriterien und ergänzenden Optimierungswerten. Fehlende Quellen, unzulässige Datenzugriffe oder nicht nachvollziehbare Änderungen führen dann unabhängig von Geschwindigkeit oder Ergebnisqualität zum Abbruch.

Pilotieren mit Stop-Regeln und klarer Entscheidungshoheit

Ein Unternehmenspilot sollte mit einem eng begrenzten, reversiblen Aufgabentyp beginnen. Geeignet sind Arbeiten, deren Ergebnis ein Mensch vor der Nutzung vollständig prüfen kann. Produktive Schreibrechte, externe Kommunikation oder Entscheidungen mit finanzieller Wirkung bleiben zunächst ausgeschlossen. Neben dem Agenten braucht der Pilot einen Prozessverantwortlichen, einen fachlichen Prüfer und einen Verantwortlichen für Zugriffe, Protokollierung und Kosten.

• Stoppen, wenn Quellen fehlen, Rechte überschritten werden oder derselbe Fehler wiederholt auftritt.
• Nur fortsetzen, wenn der letzte Checkpoint nachvollziehbar ist und offene Risiken ausdrücklich übernommen wurden.
• Den Pilot erst erweitern, wenn Ergebnis- und Prozessqualität über mehrere vergleichbare Läufe stabil bleiben.
• Autonomie schrittweise erhöhen; neue Daten, Tools oder Wirkungsrechte jeweils als eigene Risikostufe behandeln.

Die zentrale Lehre des beschriebenen Research-Ansatzes ist damit geschäftlich klar: Langfristige KI-Agenten sollten nicht nur danach beurteilt werden, ob am Ende etwas Richtiges herauskommt. Entscheidend ist ebenso, ob der Weg dorthin belegbar, korrigierbar und beherrschbar bleibt. Wer diese Prozessqualität von Beginn an misst, kann Nutzen, Kosten und Risiko fundierter abwägen und vermeidet, Autonomie mit fehlender Kontrolle zu verwechseln.