SAEScientist-Bench: Interpretierbarkeits-Agenten testen

KI-Agenten sollen künftig nicht nur Modelle trainieren, sondern auch untersuchen, was diese gelernt haben. SAEScientist-Bench prüft genau diese Fähigkeit: Agenten nutzen Sparse Autoencoders, um interpretierbare Merkmale in einem Sprachmodell zu entdecken und deren Wirkung zu untersuchen. Die Ergebnisse sind für Unternehmen zugleich ermutigend und ernüchternd. Frontier-Agenten können relevante Kandidaten finden und Zielkonzepte teilweise fast so gut wie Experten von Kontrollkonzepten trennen. Bei der kausalen Steuerung der Modellgenerierung bleiben sie jedoch deutlich zurück und interpretieren experimentelle Messwerte häufig falsch.

Was SAEScientist-Bench tatsächlich misst

Bestätigt ist der Aufbau des Benchmarks: Zehn Agentenkonfigurationen bearbeiten zwanzig Aufgaben zu Merkmalsentdeckung, Aktivierungsselektivität und Steuerung. Für ein vorgegebenes Zielkonzept entwerfen die Agenten kontrastive Tests und durchsuchen ein Gemma-Scope-Wörterbuch mit mehr als 131.000 Features für Gemma-2-9B-IT. Die Bewertung berücksichtigt unter anderem Aktivierungsrang, Selektivität gegenüber kontrastiven Texten und kausales Steering.

Die Quelle berichtet echte Fortschritte bei der Entdeckung. Agenten können Kontraste entwerfen, um unpassende Kandidaten auszusortieren, und nähern sich bei der Trennung von Zielkonzepten und Kontrollen teilweise der Expertenreferenz. Gleichzeitig bleibt eine deutliche Lücke: Bei der kausalen Beeinflussung der Generierung schneiden die Agenten schwächer ab. Die Analyse nennt außerdem ein besonders relevantes Fehlermuster: Trotz brauchbarer Versuchsanordnungen werden Messwerte häufig falsch gedeutet.

Daraus lässt sich nicht ableiten, dass mechanistische Interpretierbarkeit bereits autonom betrieben werden kann. Der Benchmark untersucht eine konkrete Modell- und Werkzeugkombination. Er belegt weder die Übertragbarkeit auf jedes Unternehmensmodell noch einen direkten Sicherheitsgewinn. Er zeigt aber, an welcher Stelle ein Agent heute eher als Forschungsassistent und nicht als alleiniger Entscheider eingesetzt werden sollte.

Welche Arbeit der Agent übernehmen darf

• Automatisierbar: Suchräume strukturieren, kontrastive Beispiele vorschlagen, Kandidatenfeatures priorisieren und reproduzierbare Versuchsläufe vorbereiten.
• Prüfpflichtig: Selektivitätswerte interpretieren, konkurrierende Erklärungen vergleichen, Ausreißer bewerten und Aussagen über die Bedeutung eines Features formulieren.
• Freigabepflichtig: Kausale Eingriffe in die Generierung, Änderungen an produktiven Modellen und Schlussfolgerungen über Sicherheit, Fairness oder Compliance.
• Nicht autonom: Geschäfts- oder Risikoentscheidungen allein aus einer Feature-Aktivierung ableiten, ohne alternative Ursachen und reale Prozessfolgen zu prüfen.

Diese Trennung spart Zeit, ohne wissenschaftliche Verantwortung zu delegieren. Der Agent kann einen großen Merkmalsraum vorsortieren und dokumentieren. Fachleute konzentrieren sich auf die wenigen Kandidaten, deren Bedeutung, Kausalität und betriebliche Relevanz tatsächlich geprüft werden müssen. Der Nutzen entsteht damit zunächst aus höherem Forschungsdurchsatz, nicht aus einer automatischen Sicherheitsfreigabe.

Ein kontrollierter Unternehmenspilot

1. Anwendungsfall begrenzen: Ein nicht produktionskritisches Modell und ein klar beschriebenes Zielkonzept wählen. Vorab festlegen, welche Aussagen ausdrücklich nicht aus dem Pilot abgeleitet werden dürfen.
2. Referenz aufbauen: Experten bestimmen ein kleines, kuratiertes Set an Merkmalen, Kontrasten und erwarteten Effekten. Agent und Mensch arbeiten auf identischen Aufgaben und Werkzeugständen.
3. Drei Ebenen getrennt messen: Kandidatenfindung, korrekte Messdeutung und kausale Steuerung erhalten eigene Scores. Ein gutes Suchergebnis darf Fehler auf einer späteren Ebene nicht verdecken.
4. Rechte stufenweise öffnen: Zunächst nur lesende Analyse, danach isolierte Experimente. Kausale Eingriffe bleiben bis zur unabhängigen Prüfung in einer Sandbox und gelangen nicht automatisch in Produktion.

Das Kontrollset muss während des Vergleichs unverändert bleiben. Zusätzlich braucht es unbekannte Holdout-Aufgaben, damit die Agentenkonfiguration nicht nur bekannte Konzepte wiedererkennt. Jeder Lauf sollte Eingaben, Toolaufrufe, ausgewählte Features, verworfene Kandidaten, Messwerte und die abschließende Interpretation protokollieren. Nur so lässt sich erkennen, ob ein falsches Ergebnis aus der Suche, dem Experiment oder der Deutung entstanden ist.

Die wichtigsten Qualitäts- und Kosten-Gates

• Entdeckungsqualität: Anteil sinnvoller Kandidaten und Aufwand bis zur reviewfähigen Shortlist.
• Selektivität: saubere Trennung von Zielkonzept, nahen Gegenbeispielen und offensichtlichen Störmerkmalen.
• Kausale Evidenz: reproduzierbare Wirkung über mehrere Prompts und Einstellungen statt eines einzelnen auffälligen Beispiels.
• Interpretationsfehler: Quote falscher Schlussfolgerungen trotz korrekter oder brauchbarer Messungen.
• Review-Aufwand: benötigte Expertenzeit pro akzeptierter Analyse einschließlich Korrekturen.
• Betriebsrisiko: keine produktive Steuerung, wenn Kausalität, Rückfallpfad oder Verantwortlichkeit unklar sind.

Für die Wirtschaftlichkeit zählt nicht die Zahl automatisch durchsuchter Features allein. Relevant sind Kosten pro belastbarer Erkenntnis: Rechenaufwand, Expertenreview, Wiederholungsversuche und Dokumentation gehören in dieselbe Rechnung. Wenn der Agent viele plausible, aber irreführende Kandidaten erzeugt, kann der Kontrollaufwand den Geschwindigkeitsvorteil aufheben.

Risikoabwägung für echte Unternehmen

Mechanistische Merkmale können verführerisch eindeutig wirken. Eine hohe Aktivierung ist jedoch zunächst eine Beobachtung, keine abschließende Erklärung. Bei Personal-, Kredit-, Gesundheits- oder Sicherheitsprozessen dürfen solche Befunde deshalb nicht direkt in operative Entscheidungen einfließen. Auch Modell- und Datensensitivität müssen berücksichtigt werden: Ein Feature kann in einer Version nützlich erscheinen und nach einem Modellupdate seine Bedeutung oder Selektivität verändern.

Organisatorisch braucht der Pilot eine klare Eigentümerschaft. Das KI-Team verantwortet Reproduzierbarkeit und Tooling, Fachverantwortliche bewerten die Bedeutung, und Risiko- oder Compliance-Funktionen entscheiden über zulässige Konsequenzen. Änderungen an Modell, SAE, Feature-Wörterbuch oder Agenten-Harness lösen eine neue Prüfung aus. So bleibt nachvollziehbar, für welche Kombination eine Aussage tatsächlich gilt.

Fazit: Forschungsassistenz statt autonomer Freigabe

SAEScientist-Bench zeigt, dass Agenten bereits wertvolle Vorarbeit in großen Interpretierbarkeitsräumen leisten können. Die Studie zeigt aber ebenso klar, wo die Grenze liegt: Gute kontrastive Tests und vielversprechende Features garantieren weder korrekte Messdeutung noch verlässliche kausale Steuerung. Unternehmen sollten daher die Suche automatisieren, Interpretationen unabhängig prüfen und Eingriffe strikt freigeben. Der sinnvolle Pilot misst nicht nur Geschwindigkeit, sondern vor allem, wie oft der Agent aus brauchbaren Daten die falsche Schlussfolgerung zieht.