Ein offener Versuch auf Hugging Face nutzte Claude Code, Codex und weitere Coding-Agenten, um Aussagen aus 2.226 ICML-Papers claimweise zu reproduzieren. Mehr als 1.200 Personen beteiligten sich. Laut Projektbericht enthielten 23 Prozent der untersuchten Papers mindestens eine falsifizierte oder umstrittene Aussage. Für Unternehmen ist das kein Beweis, dass Agenten Forschung autonom übernehmen können. Es ist ein Hinweis darauf, wie sich umfangreiche Prüfaufgaben zerlegen und mit menschlicher Kontrolle skalieren lassen.
Was der Reproduktionsversuch tatsächlich zeigt
Der Versuch war groß angelegt und claimorientiert. Statt ein Paper pauschal als richtig oder falsch zu bewerten, wurden einzelne Aussagen reproduziert. Diese Zerlegung ist für Unternehmen besonders relevant: Agenten arbeiten zuverlässiger prüfbar, wenn eine Aufgabe in konkrete Behauptungen, Datenquellen, Berechnungsschritte und Abnahmekriterien aufgeteilt wird.
- Skalierung: Mehr als 1.200 Teilnehmende bearbeiteten mit Coding-Agenten Aussagen aus 2.226 Papers.
- Werkzeuge: Der Versuch bezog Claude Code, Codex und weitere Agenten ein.
- Prüfeinheit: Einzelne Claims standen im Mittelpunkt, nicht nur ein Gesamturteil pro Paper.
- Ergebnis: 23 Prozent der Papers enthielten mindestens eine falsifizierte oder umstrittene Aussage.
- Grenze: Das Projekt unterstreicht neben dem Potenzial auch die Bedeutung menschlicher Steuerung und Prüfung.
Nicht aus den gelieferten Daten ableitbar sind eine allgemeine Rangliste der Agenten, eine belastbare Automatisierungsquote oder konkrete Kostenvorteile. Ebenso wäre es falsch, jede umstrittene Aussage automatisch als wissenschaftlichen Fehler zu behandeln. Ein reproduzierbares Ergebnis hängt von Datenzugang, Umgebung, Implementierung und Interpretation ab.
Die zentrale Lehre für Unternehmen: Ergebnisse brauchen Belegketten
Agentische Analyse sollte nicht nur ein Endergebnis liefern. Für jeden relevanten Claim braucht es eine nachvollziehbare Kette: Ausgangsfrage, verwendete Quelle, Code oder Berechnung, Zwischenresultat, Abweichung und Unsicherheit. Erst diese Struktur ermöglicht es einem Reviewer, zwischen einem echten Widerspruch, fehlenden Daten und einem Implementierungsfehler zu unterscheiden.
Das gilt weit über Forschung hinaus. In Due Diligence, Compliance-Prüfung, technischen Audits, Datenanalysen oder Softwaremigrationen können Agenten große Mengen vorbereiten. Die endgültige Entscheidung sollte jedoch dort beim Menschen bleiben, wo ein falsches Ergebnis rechtliche, finanzielle oder operative Schäden auslösen kann.
Fünfstufige Prüfkette für agentische Analysen
- Claim isolieren: Jede prüfbare Behauptung eindeutig formulieren und von Interpretation oder Empfehlung trennen.
- Belege fixieren: Quellen, Datenstände, Versionen und Zugriffszeitpunkte dokumentieren.
- Reproduktion kapseln: Code, Abhängigkeiten, Parameter und Umgebung so festhalten, dass der Lauf wiederholbar ist.
- Abweichung klassifizieren: zwischen bestätigt, widersprochen, unklar, nicht reproduzierbar und nicht prüfbar unterscheiden.
- Unabhängig freigeben: Relevante oder widersprüchliche Ergebnisse durch eine zweite Person oder getrennte Prüfinstanz bewerten.
Welche Aufgaben sich eignen – und welche nicht
Geeignet sind Aufgaben mit klaren Claims, zugänglichen Daten, reproduzierbaren Schritten und einem überprüfbaren Ergebnis. Dazu zählen beispielsweise die Prüfung technischer Dokumentation, Abgleiche zwischen Spezifikation und Implementierung oder vorbereitende Analysen großer Datensätze. Weniger geeignet sind Aufgaben mit unklarer Wahrheit, fehlenden Primärdaten oder ausschließlich subjektiver Bewertung.
- Guter Kandidat: viele ähnliche Prüffälle mit einheitlichem Ergebnisformat.
- Guter Kandidat: Fehler können erkannt, zurückverfolgt und ohne unmittelbaren Schaden korrigiert werden.
- Schlechter Kandidat: Quellen oder Daten dürfen nicht in der vorgesehenen Umgebung verarbeitet werden.
- Schlechter Kandidat: ein plausibler Text würde fälschlich als Beweis oder finale Entscheidung behandelt.
- Schlechter Kandidat: es gibt weder einen fachlichen Reviewer noch definierte Eskalationsregeln.
Kosten und Risiken realistisch planen
Der Versuch liefert keine übertragbare Kostenrechnung für Unternehmensprojekte. Die Gesamtkosten bestehen nicht nur aus Modellaufrufen. Hinzu kommen Datenaufbereitung, isolierte Ausführungsumgebungen, Speicherung von Artefakten, menschliche Reviews, Wiederholungen und die Bearbeitung unklarer Fälle. Agenten lohnen sich besonders dort, wo sie den Prüfbereich erweitern oder Vorarbeit standardisieren, ohne die notwendige Fachprüfung zu vervielfachen.
- Quellenrisiko: Primärbelege priorisieren und fehlende Daten sichtbar markieren.
- Ausführungsrisiko: Code in isolierten Umgebungen mit begrenzten Rechten starten.
- Reproduktionsrisiko: Versionen, Seeds, Abhängigkeiten und Parameter dokumentieren.
- Bewertungsrisiko: Widerspruch, Nicht-Reproduzierbarkeit und Unsicherheit getrennt behandeln.
- Kostenrisiko: Aufwand pro abschließend geprüftem Claim statt pro Agentenlauf messen.
- Governance-Risiko: Verantwortliche für Freigabe, Eskalation und Korrektur benennen.
Ein kontrollierter Pilot für vier Wochen
Woche eins dient der Auswahl eines begrenzten Prüfbereichs und der Definition des Claim-Schemas. In Woche zwei entsteht ein Testkorpus mit bekannten, widersprüchlichen und nicht prüfbaren Fällen. Woche drei läuft der Agent im Shadow Mode; seine Ergebnisse werden vollständig menschlich bewertet. In Woche vier werden nur die klaren, wiederholbaren Kategorien teilautomatisiert. Unklare oder folgenreiche Befunde bleiben im Review.
Der offene ICML-Versuch zeigt damit weder eine autonome Forschungsmaschine noch ein Argument gegen Coding-Agenten. Er zeigt ein produktives Zwischenmodell: Agenten skalieren die strukturierte Prüfung, Menschen verantworten Interpretation und Konsequenzen. Für Unternehmen ist genau diese Trennung die Voraussetzung, um aus hoher Verarbeitungskapazität belastbare Entscheidungen zu machen.