Anthropic und Accenture: Embedded Evaluation richtig aufsetzen

Anthropic und Accenture wollen unabhängige Prüfer näher an die Entwicklung und den Einsatz leistungsfähiger KI-Modelle bringen. Beide Unternehmen erwarten nach der Ankündigung, über fünf Jahre jeweils mindestens eine Milliarde US-Dollar in entsprechende Kapazitäten zu investieren. Die Embedded Evaluation soll von Faculty geleitet werden und Modellbewertung, Red Teaming, Alignment-Prüfungen sowie Tests von Schutzmaßnahmen umfassen. Für Unternehmen ist daran weniger die Milliardensumme entscheidend als die neue Kontrollidee: Externe Prüfer sollen nicht erst einen fertigen Stand begutachten, sondern mit einem Zugang ähnlich dem von Beschäftigten beobachten können, wie Modelle trainiert und in Betrieb genommen werden.

Bestätigt ist auch, dass dieses Modell noch kein fertiger Standard ist. Regeln für Zugangsrechte, Berichterstattung und eine dauerhaft unabhängige Finanzierung sind noch nicht etabliert. Deshalb wäre es verfrüht, die Kooperation als Blaupause oder Gütesiegel zu behandeln. Sie ist vielmehr ein belastbarer Anlass, die Bedingungen zu definieren, unter denen eingebettete Prüfung tatsächlich Vertrauen schaffen kann.

Was Embedded Evaluation anders macht

Klassische Audits sehen häufig nur einen begrenzten Prüfgegenstand zu einem festen Zeitpunkt. Bei schnell veränderten Modellen kann dadurch entscheidender Kontext fehlen: Welche Trainingsentscheidungen wurden getroffen? Welche Schutzmaßnahme wurde nach einem Test verändert? Welche Abweichung trat erst beim Rollout auf? Ein eingebettetes Team kann solche Übergänge verfolgen und früher auf blinde Flecken hinweisen. Die Ankündigung sieht ausdrücklich vor, dass Prüfer Entscheidungen während Training und Bereitstellung beobachten und mit Beschäftigten sprechen können.

Für DACH-Unternehmen ist daraus eine nachvollziehbare Ableitung möglich: Wer ein Frontier-Modell in kritische Prozesse integriert, sollte nicht nur Zertifikate oder einmalige Sicherheitstests anfordern. Wichtiger ist ein fortlaufender Nachweis darüber, welche Risiken geprüft wurden, wie Befunde priorisiert werden und wer bei einem negativen Ergebnis den Betrieb begrenzen darf. Das gilt besonders, wenn ein Modell Kundendaten verarbeitet, Entscheidungen vorbereitet oder eigenständig Werkzeuge aufruft.

Der Unabhängigkeitstest in fünf Dimensionen

Embedded Evaluation kann nur dann mehr sein als begleitende Beratung, wenn fünf Dimensionen gemeinsam funktionieren. Eine Schwäche lässt sich nicht durch größere Testtiefe an anderer Stelle ausgleichen.

1. Mandat: Der Prüfauftrag muss Systeme, Schutzmaßnahmen, Trainings- und Bereitstellungsentscheidungen sowie relevante organisatorische Abläufe umfassen. Der Anbieter darf unbequeme Prüffragen nicht einseitig aus dem Umfang entfernen.
2. Zugang: Prüfer benötigen zeitnahen Zugang zu Modellen, Testumgebungen, Änderungsprotokollen und den zuständigen Fachpersonen. Zugriffsrechte müssen Datenminimierung und Vertraulichkeit berücksichtigen, dürfen kritische Evidenz aber nicht unsichtbar machen.
3. Finanzierung: Direkte Finanzierung durch den geprüften Anbieter ist ein möglicher Interessenkonflikt, kein automatischer Beweis fehlender Unabhängigkeit. Laufzeit, Vergütung, Kündigungsschutz und weitere Mandate sollten deshalb transparent geregelt und überwacht werden.
4. Berichterstattung: Befunde brauchen definierte Empfänger, feste Fristen und eine nachvollziehbare Einstufung. Schwerwiegende Risiken dürfen nicht in einem allgemeinen Projektbericht verschwinden.
5. Reaktion: Vor dem Test muss feststehen, welche Befunde Nachbesserung, Rollout-Stopp, Nutzungseinschränkung oder Information weiterer Kontrollinstanzen auslösen. Ohne Konsequenzmechanismus bleibt Evaluation folgenlos.

Die offizielle Ankündigung beschreibt direkte Finanzierung zunächst als Übergangslösung und verweist langfristig auf gepoolte oder staatliche Modelle, die derzeit nicht vorhanden sind. Daraus folgt keine pauschale Abwertung des Vorhabens. Es zeigt aber, warum Unternehmen Interessenkonflikte als Gestaltungsaufgabe behandeln müssen: Wer bezahlt, wer kann kündigen und wer erhält ungefilterte Berichte?

Ein Pilot in sechs Schritten

Unternehmen müssen dafür kein eigenes Frontier-Modell trainieren. Das Prinzip lässt sich auf die Einführung externer Modelle, Agenten oder KI-Funktionen übertragen. Ein begrenzter Pilot schafft Erkenntnisse, ohne die externe Prüfung sofort zum Dauerprogramm aufzublähen.

1. Einen klar abgegrenzten Anwendungsfall wählen, dessen Prozess, Datenquellen, Nutzergruppen und mögliche Schäden dokumentiert sind.
2. Prüffragen vorab festlegen: Modellgrenzen, Prompt-Manipulation, Datenabfluss, Berechtigungen, Fehlentscheidungen, Protokollierung und menschliche Eingriffe.
3. Unabhängigkeit vertraglich sichern: eigener Prüfplan, direkter Berichtsweg an Risiko- oder Geschäftsleitung und keine erfolgsabhängige Vergütung.
4. Kontrollierten Zugang bereitstellen: Testumgebung, relevante Logs, Versionsstände und Ansprechpartner, aber keine pauschalen Produktionsrechte.
5. Schwellenwerte und Reaktionen definieren: akzeptieren, nachbessern, begrenzen oder stoppen. Für jede Stufe müssen Verantwortliche und Fristen feststehen.
6. Nach dem Pilot bewerten, ob zusätzliche Befunde durch den eingebetteten Zugang entstanden sind und ob Aufwand, Eingriffstiefe und Nutzen einen dauerhaften Einsatz rechtfertigen.

Was Einkauf und Geschäftsleitung verlangen sollten

Die Verantwortung verschiebt sich durch externe Prüfer nicht vom Anbieter oder vom einsetzenden Unternehmen weg. Anthropic betont selbst, dass unabhängige Bewertung die eigene Rechenschaftspflicht nicht reduziert. Für Käufer bedeutet das: Ein Prüfbericht ist ein Eingangssignal für die eigene Freigabe, kein Ersatz für Risikoeigentümer, technische Kontrollen und laufendes Monitoring.

• Welche Modellversion, Betriebsumgebung und Schutzmaßnahmen deckt die Prüfung tatsächlich ab?
• Welche Evidenz durfte das Prüfteam selbst erheben und welche wurde nur vom Anbieter bereitgestellt?
• Wer finanziert das Mandat, wer darf es kündigen und welche anderen Geschäftsbeziehungen bestehen?
• Erhält der Kunde vollständige Befunde oder nur eine Zusammenfassung beziehungsweise Bestätigung?
• Welche offenen Risiken, Ausnahmen und nicht geprüften Bereiche werden ausdrücklich genannt?
• Was passiert bei einem kritischen Befund, und kann die Nutzung bis zur Behebung technisch begrenzt werden?

Der praktische Wert von Embedded Evaluation liegt damit nicht in einem neuen Etikett, sondern in einem besseren Kontrollkreislauf: beobachten, belegen, berichten, entscheiden und nachprüfen. Solange gemeinsame Standards fehlen, sollten Unternehmen diesen Kreislauf selbst vertraglich und operativ definieren. Die angekündigte Kooperation liefert dafür ein wichtiges Signal – den Beweis eines allgemein unabhängigen Prüfmodells muss erst die konkrete Umsetzung erbringen.