Ein mobiler KI-Assistent kann in einer Demo überzeugend wirken und im Alltag trotzdem scheitern. Kalender, Nachrichten, Dateien, Navigation oder Buchungen verändern ihren Zustand fortlaufend. Werkzeuge müssen in der richtigen Reihenfolge aufgerufen werden, Berechtigungen können fehlen und ein Zwischenschritt kann unerwartet abbrechen. MobilePA-Bench setzt genau dort an: Der Benchmark bewertet Planungsagenten in einer ausführbaren, zustandsbehafteten Umgebung und verbindet Tool-Aufrufe mit langfristiger Planung, Gedächtnis, Skills und Delegation.
Warum MobilePA-Bench über Tool Calling hinausgeht
Nach Angaben der Autoren umfasst MobilePA-Bench 13 Funktionsbereiche und 212 realistische mobile Werkzeuge. Die Sandbox arbeitet mit lebenden Anwendungsdatenbanken und strukturiertem Feedback. Dadurch zählt nicht nur, ob ein Agent irgendwann das richtige Tool findet. Entscheidend ist, ob er einen gültigen Ausgangszustand erkennt, Abhängigkeiten einhält, Veränderungen korrekt übernimmt und nach einem Fehler mit dem tatsächlichen Zustand weiterarbeitet.
- Werkzeugreihenfolge: Ein späterer Schritt darf erst starten, wenn sein fachlicher und technischer Vorgänger erfolgreich abgeschlossen ist.
- Berechtigungen: Der Agent muss verweigerte Rechte erkennen und darf Einschränkungen weder umgehen noch durch alternative Werkzeuge aushebeln.
- Laufzeitfehler: Nach Timeout, ungültiger Eingabe oder Teilerfolg muss er den Zustand neu prüfen, statt den gesamten Plan blind zu wiederholen.
- Zusammenarbeit: Zusätzlich bewertet die Studie Delegation an Subagenten, Gedächtnisnutzung und den Aufruf zusammengesetzter Skills.
Bestätigt ist damit der Umfang des Benchmarks und der von den Autoren berichtete Zuverlässigkeitsverlust unter strikteren Bedingungen. Eine betriebliche Ableitung ist, mobile Agenten nicht anhand isolierter Erfolgsfälle freizugeben. Nicht belegt wäre hingegen, dass ein bestimmtes Modell in jedem Unternehmensprozess ungeeignet ist. Dafür unterscheiden sich Apps, Rechte, Datenqualität und Fehlertoleranz zu stark.
Die Abnahmematrix für den eigenen mobilen Agenten
Unternehmen sollten aus dem Benchmark keine einzelne Rangliste übernehmen, sondern eine eigene Testsuite ableiten. Jede wichtige Nutzerabsicht wird dabei mit mehreren Zuständen und Störungen kombiniert. Für eine Reisekosten-App könnte derselbe Auftrag etwa mit fehlender Belegfreigabe, bereits verbuchter Ausgabe, abgelaufenem Login oder widersprüchlicher Währung getestet werden.
- Normalfall: Der Agent erledigt eine vollständige Aufgabe mit erlaubten Werkzeugen und überprüfbarem Ergebnis.
- Reihenfolgefall: Schritte werden absichtlich in eine Lage gebracht, in der falsche Reihenfolge Datenverlust oder Doppelbuchungen erzeugen würde.
- Rechtefall: Ein benötigter Zugriff fehlt; erwartet werden transparente Eskalation und ein sicherer Stopp.
- Fehlerfall: Ein Werkzeug bricht nach einem Teilerfolg ab; geprüft werden Zustandsabgleich, Idempotenz und Wiederaufnahme.
- Memory-Fall: Veraltete oder widersprüchliche Erinnerungen dürfen aktuelle App-Daten nicht überschreiben.
- Delegationsfall: Subagenten erhalten nur erforderliche Daten und Rechte; ihre Ergebnisse werden vor der Weiterverwendung validiert.
Rollout in vier kontrollierten Schritten
- Replay-Tests aufbauen: Häufige und riskante Abläufe aus anonymisierten Prozessprotokollen ableiten, Ausgangszustände versionieren und erwartete Endzustände festlegen.
- Störungen injizieren: Berechtigungen entziehen, Antworten verzögern, Teilerfolge erzeugen und Werkzeuge kontrolliert fehlschlagen lassen.
- Schattenbetrieb durchführen: Der Agent plant echte Aufgaben, darf aber nichts verändern. Menschen vergleichen Plan, Rechtebedarf und erwartete Folgen mit dem realen Vorgehen.
- Schreibrechte stufenweise öffnen: Zuerst reversible Niedrigrisiko-Aktionen erlauben; finanzielle, rechtliche oder externe Handlungen bleiben bis zu stabilen Nachweisen freigabepflichtig.
Dieser Aufbau begrenzt Einführungskosten, weil Fehler vor produktiven Integrationen sichtbar werden. Gleichzeitig entsteht ein wiederverwendbares Testinventar für Modell-, Prompt-, App- und Werkzeugupdates. Verantwortlichkeiten sollten getrennt sein: Das Produktteam definiert Nutzerabsichten, IT und Security stellen Zustände sowie Rechte bereit, und ein unabhängiges Fachteam entscheidet über die Freigabe.
Zum Kostenbild gehören außerdem Pflege und Betrieb der Tests selbst: Zustände müssen aktuell gehalten, Testkonten zurückgesetzt, Werkzeugänderungen nachgezogen und Fehlerszenarien regelmäßig neu bewertet werden. Ein günstiger Modellaufruf kann betriebswirtschaftlich teuer werden, wenn unklare Teilerfolge zusätzliche Kontrolle oder manuelle Bereinigung auslösen. Deshalb sollten Produktverantwortung und Betrieb bereits vor dem Pilot ein gemeinsames Budget samt Aufwand für Regressionstests festlegen.
Stop/Go-Kriterien für den produktiven Einsatz
Neben der Erfolgsquote zählen unerlaubte Aktionen, falsche Endzustände, nicht erkannte Teilerfolge, Wiederholungen bereits ausgeführter Schritte, menschliche Eingriffe und Kosten pro korrekt abgeschlossener Aufgabe. Ein Agent sollte gestoppt werden, sobald er Berechtigungsgrenzen umgeht, Zustandsänderungen nicht erkennt oder nach Fehlern doppelte Aktionen erzeugt. Ausweiten lässt sich der Einsatz erst, wenn diese Risiken über mehrere Testzyklen und reale Schattenfälle stabil unter den vorab festgelegten Grenzwerten bleiben.
MobilePA-Bench liefert damit weniger eine Kaufempfehlung als eine Warnung vor zu einfachen Abnahmetests. Wer mobile KI-Agenten produktiv einsetzen will, muss die Kombination aus Live-Zustand, Werkzeugfolge, Rechten und Fehlern prüfen. Gedächtnis, Skills und Subagenten sind erst dann ein Vorteil, wenn ihre zusätzlichen Übergaben genauso messbar und begrenzt sind wie der Hauptagent.