Microsoft testet Copilot in synthetischen Unternehmen statt mit Kundendaten

Microsoft Research hat eine Plattform entwickelt, die für die Bewertung von Copilot vollständige synthetische Unternehmen erzeugt. Sie umfassen Hunderte Beschäftigte, Organisationsstrukturen, E-Mails, Besprechungen, Dokumente und zeitlich fortlaufende Vorgeschichten. Drei Umgebungen bilden Pharma, Kapitalmärkte und ein Softwareunternehmen ab, ohne Kundendaten zu verwenden.

Drei künstliche Unternehmen ersetzen sensible Kundenumgebungen

Die Plattform stützt ihre Struktur auf öffentliche Quellen wie die Berufsdatenbank O*NET, Stellenanzeigen und Einreichungen bei der US-Börsenaufsicht SEC. Daraus entstehen Rollen, Hierarchien, Tätigkeiten und Branchenkontext. Nachrichten, Dokumente und Besprechungsprotokolle werden synthetisch generiert.

Anschließend erstellt das System Fragen für Copilot und prüft deren Datengrundlage, Natürlichkeit und Einzigartigkeit. So lassen sich zeitabhängige Anfragen testen, etwa zu einer Entscheidung vom vergangenen Donnerstag oder zu Änderungen seit der letzten Quartalsprüfung. Laut Microsoft fließen in keiner Phase echte Kundendaten ein.

Evals werden von Einzelfällen zu wiederholbarer Unternehmensinfrastruktur

Ein allgemeiner Benchmark zeigt nicht, ob Copilot ein Projekt, Beziehungen zwischen Teams und Entscheidungen über längere Zeit korrekt verfolgt. Ein synthetisches Unternehmen bietet Produktteams ein stabiles Szenario für Regressionstests und ermöglicht dieselbe Prüfung nach Änderungen am Modell oder an der Retrieval-Schicht.

Microsoft schätzt die Einsparung auf rund 100.000 Dollar pro Evaluationsdatensatz und 300.000 Dollar im gesamten Projekt. Automatisierte Läufe ersetzten eine mehrtägige manuelle Vorbereitung. Für Enterprise-Teams dürfte wichtiger sein, dass sie Testdaten intern ohne die üblichen Beschränkungen für persönliche und kundenspezifische Informationen teilen können.

Ein Wert von 0,9 misst Simulationstreue, nicht Nutzerzufriedenheit

Microsoft meldet gegenüber dem ersten Generierungsansatz eine Verbesserung seiner zusammengesetzten Qualitätskennzahl um 39 %. Einige branchenspezifische Umgebungen erreichten mehr als 0,9 von 1,0. Das ist eine interne Messung der strukturellen, kontextuellen und statistischen Treue, keine unabhängige Prüfung der Copilot-Genauigkeit bei Kunden.

Synthetische Daten können außerdem die Vorstellungen ihrer Entwickler darüber übernehmen, wie Unternehmen funktionieren. Stellenanzeigen und SEC-Dokumente beschreiben Rollen und Größe recht gut, informelle Entscheidungen, lückenhafte Aufzeichnungen, lokale Sprache und Teamdynamik dagegen deutlich schlechter.

Der Zusammenhang mit Produktionsfehlern entscheidet über den Nutzen

Microsoft will weitere Branchen ergänzen und Arbeitsabläufe detaillierter modellieren. Entscheidend ist jedoch, ob Fehler in synthetischen Unternehmen jene Probleme vorhersagen, die später in sicher aggregierter Telemetrie, Nutzerfeedback und Produktionsvorfällen sichtbar werden.

Ein nützlicher Eval findet eine Regression vor dem Kunden. Erzeugt die Plattform nur saubere Umgebungen, die bereits eingebaute Annahmen messen, kann sie präzise Werte liefern und dennoch an echter Arbeit vorbeigehen.

Liliths Urteil

Ein synthetisches Unternehmen ist ein guter Crashtest-Dummy für Copilot. Es ist kein echtes Büro, in dem die Hälfte der Entscheidungen nebenbei fällt und der Rest womöglich nie notiert wird.