WearableQA: Health-AI mit echten Wearable-Daten prüfen

Wearables liefern über Monate hinweg Schlaf-, Aktivitäts- und andere physiologische Messwerte. Für KI-Systeme klingt das nach einem idealen Anwendungsfeld: Daten zusammenfassen, Veränderungen erkennen und Zusammenhänge erklären. Der neue Benchmark WearableQA zeigt jedoch, wie groß die Lücke zwischen flüssigen Antworten und belastbarem Reasoning noch ist. Er testet Sprachmodelle nicht auf bereinigten Beispieldaten, sondern auf realen Langzeitverläufen mit Messrauschen, fehlenden Tagen und Unterschieden zwischen Personen.

Was WearableQA tatsächlich misst

Die Primärpublikation beschreibt 4.084 Fragen mit jeweils zehn Antwortoptionen. Grundlage sind Wearable-Zeitreihen, Blutbiomarker und demografische Angaben von 200 realen Personen, jeweils mit bis zu etwa 500 Tagen täglicher Messungen. Das Zufallsniveau liegt durch die zehn Antwortmöglichkeiten bei zehn Prozent. Entscheidend ist die Struktur: 16 Fragetypen verteilen sich auf zwei Achsen, die unterschiedliche Fähigkeiten sichtbar machen.

• Datenreasoning prüft, ob ein Modell Werte, Zeiträume und statistische Muster korrekt verarbeitet.
• Gesundheitsreasoning prüft, ob es Messwerte physiologisch sinnvoll einordnet.
• Einzelsignal-Reasoning betrachtet eine Datenreihe isoliert.
• Mehrsignal-Reasoning verlangt die Verbindung mehrerer Messreihen oder zusätzlicher Biomarker.
• Die Aufgaben bewahren typische Realwelteigenschaften wie Rauschen, fehlende Tage und Unterschiede zwischen Personen.

Die Fragen werden laut Paper doppelt verankert: in physiologischen Erkenntnissen aus der Literatur und in statistisch geprüften Mustern der untersuchten Population. Das ist relevant, weil ein plausibler Zusammenhang nicht automatisch in jedem konkreten Datensatz sichtbar sein muss. Der Benchmark versucht deshalb, fachliche Grundlage und beobachtete Daten gemeinsam zu berücksichtigen.

Die Ergebnisse: große Spannweite, keine gelöste Aufgabe

Vierzehn proprietäre und offene Sprachmodelle erreichen laut Veröffentlichung zwischen 19,6 und 72,9 Prozent Genauigkeit. Die meisten bleiben unter 60 Prozent. Bestätigt ist damit: Der Benchmark kann Leistungsunterschiede sichtbar machen, und die Aufgabe ist noch deutlich von einer verlässlichen Lösung entfernt. Nicht belegt ist dagegen, dass ein Modell mit hohem Gesamtwert automatisch in jeder der vier Fähigkeitsklassen gleich gut arbeitet oder in einem konkreten Gesundheitsprodukt sicher wäre.

Aus GNS-Sicht ist gerade die Aufteilung wichtiger als die Rangliste. Ein System kann einfache Zeitreihenfragen korrekt beantworten und dennoch scheitern, sobald mehrere Signale zusammengeführt oder physiologisch interpretiert werden müssen. Wer nur eine Gesamtgenauigkeit beschafft, übersieht möglicherweise genau die Fehlerklasse, die im eigenen Prozess das höchste Risiko trägt.

Vier-Felder-Testmatrix für einen Unternehmenspilot

Unternehmen sollten die WearableQA-Achsen auf ihren eigenen Anwendungsfall übertragen. Ein Schlaf-Coaching, ein Versicherungsservice oder ein internes Gesundheitsprogramm benötigen unterschiedliche Freigabegrenzen. Der Pilot beginnt deshalb nicht mit der Frage nach dem besten Modell, sondern mit einer Matrix aus Aufgabenklasse, möglichem Schaden und notwendiger Kontrolle.

1. Einzelsignal plus Datenreasoning: Prüfen Sie Berechnungen, Zeitfenster, fehlende Werte und Ausreißer mit deterministischen Referenzen.
2. Mehrsignal plus Datenreasoning: Testen Sie, ob Zeitreihen korrekt synchronisiert werden und das Modell keine Zusammenhänge aus unterschiedlich vollständigen Zeiträumen erfindet.
3. Einzelsignal plus Gesundheitsreasoning: Lassen Sie fachlich prüfen, ob Erklärungen den Messwert angemessen einordnen und Unsicherheit sichtbar machen.
4. Mehrsignal plus Gesundheitsreasoning: Behandeln Sie diese Klasse als höchstes Risiko, weil mehrere fehlerhafte Annahmen zu einer überzeugenden, aber falschen Gesamtaussage führen können.

Für jede Zelle braucht es eigene Testfälle, Fehlertoleranzen und Eskalationsregeln. Eine hilfreiche Zusammenfassung darf möglicherweise geringere Anforderungen haben als eine Empfehlung, die Verhalten oder Versorgung beeinflusst. Sobald Ergebnisse gesundheitliche Entscheidungen berühren, gehören Fachprüfung und klarer Hinweis auf die Systemgrenzen in den Prozess.

Pilotplan: Von historischen Daten zum Schattenbetrieb

1. Zweck begrenzen: Definieren Sie eine einzige Entscheidung oder Nutzeraufgabe und schließen Sie Diagnose sowie Therapie aus, sofern dafür keine gesonderte Validierung besteht.
2. Datensatz vorbereiten: Dokumentieren Sie Einwilligung, Zugriffsrechte, Gerätequellen, fehlende Tage, Zeitzonen, Messwechsel und bekannte Qualitätsprobleme.
3. Referenz bauen: Erstellen Sie fachlich geprüfte Antworten und nachvollziehbare Berechnungen für alle vier Testfelder.
4. Modelle vergleichen: Messen Sie nicht nur Gesamtgenauigkeit, sondern Fehler nach Signalzahl, Reasoning-Typ, Personengruppe und Datenqualität.
5. Schattenbetrieb starten: Lassen Sie das System ohne automatische Wirkung parallel zum bestehenden Prozess laufen und protokollieren Sie Abweichungen.
6. Go/no-go entscheiden: Produktiv wird nur eine klar begrenzte Funktion, deren Fehlerquote, Unsicherheit und menschliche Kontrolle zum Risiko passen.

Welche Kennzahlen wirklich zählen

Eine Gesamtquote allein reicht nicht. Sinnvoll sind mindestens Trefferquoten je Testfeld, Fehler bei fehlenden Tagen, Stabilität über verschiedene Personen, Kalibrierung der Unsicherheit und der Anteil von Antworten, die korrekt an einen Menschen eskaliert werden. Zusätzlich sollten Kosten und Latenz pro vollständigem Langzeitdatensatz gemessen werden. Ein Modell kann fachlich besser sein, aber für den geplanten Aktualisierungstakt wirtschaftlich ungeeignet.

Ebenso wichtig ist die Fehlerwirkung. Eine falsch berechnete Wochenaktivität lässt sich oft leicht korrigieren. Eine überzeugend formulierte gesundheitliche Interpretation kann dagegen Nutzer verunsichern oder zu ungeeigneten Handlungen führen. Die Freigabeschwelle sollte deshalb nicht nur von der Häufigkeit, sondern vom möglichen Schaden abhängen.

Risiken für Einführung und Betrieb

Wearable-Daten sind langfristig, persönlich und häufig unvollständig. Für Unternehmen folgt daraus ein strenger Umgang mit Zweckbindung, Zugriff, Aufbewahrung und Löschung. Diese Governance-Anforderungen sind eine betriebliche Ableitung und nicht Ergebnis des Benchmarks selbst. Technisch braucht der Betrieb außerdem Versionskontrolle für Modelle und Prompts, reproduzierbare Testläufe sowie ein Monitoring, das Leistungsabfälle nach Datenquelle und Aufgabentyp erkennt.

Ein weiteres Risiko ist die Übertragung des Benchmarks auf andere Geräte, Populationen oder Zielgruppen. WearableQA zeigt reale Komplexität, aber kein einzelner Benchmark kann die eigene Produktpopulation vollständig abbilden. Deshalb sollte er als Vorlage für die Evaluationsarchitektur dienen. Die finale Freigabe muss auf eigenen, rechtmäßig verwendeten Daten und fachlich geprüften Aufgaben beruhen.

Fazit: Health-AI nach Fehlerklassen statt Ranglisten bewerten

WearableQA liefert eine klare Warnung vor vorschnellen Health-AI-Rollouts: Selbst starke Modelle bleiben bei realen Langzeitdaten fehleranfällig, besonders wenn Datenrechnung und physiologische Interpretation zusammenkommen. Der praktische Wert des Benchmarks liegt in seiner Struktur. Unternehmen können damit Tests nach Signalzahl und Reasoning-Typ aufbauen, Risiken abgestuft kontrollieren und Modelle im Schattenbetrieb gegen menschlich geprüfte Referenzen messen. Erst wenn genau die geschäftsrelevanten Fehlerklassen beherrscht werden, ist ein enger produktiver Einsatz vertretbar.