Microsoft testuje Copilot na syntetických firmách místo zákaznických dat

Microsoft Research postavil platformu, která pro hodnocení Copilotu vytváří celé syntetické firmy. Obsahují stovky zaměstnanců, organizační struktury, e-maily, schůzky, dokumenty a časově navazující historii. Tři prostředí napodobují farmaceutickou firmu, kapitálové trhy a softwarovou společnost, aniž by do nich vstoupila zákaznická data.

Tři umělé firmy nahrazují citlivé zákaznické prostředí

Platforma čerpá strukturu z veřejných zdrojů, mezi které patří databáze povolání O*NET, pracovní inzeráty a podání firem americké SEC. Z těchto podkladů skládá role, hierarchii, pracovní činnosti a oborový kontext. Samotné zprávy, dokumenty a zápisy ze schůzek generuje synteticky.

Systém pak vytváří otázky pro Copilot a kontroluje jejich věcnou oporu, přirozenost a jedinečnost. Umí tak testovat i dotazy závislé na čase, například co tým rozhodl minulý čtvrtek nebo co se změnilo od poslední čtvrtletní revize. Microsoft uvádí, že žádná část pipeline nepoužívá reálná zákaznická data.

Evals se mění z několika testů na opakovatelnou firemní infrastrukturu

Obecný benchmark nepozná, zda Copilot správně sleduje projekt, vztahy mezi týmy a vývoj rozhodnutí v čase. Syntetická firma dává produktovým týmům stabilní scénář pro regresní testy a umožňuje jim opakovat stejné hodnocení po změně modelu nebo retrieval vrstvy.

Microsoft odhaduje úsporu přibližně 100 000 dolarů na jednu evaluační datovou sadu a 300 000 dolarů za projekt. Ruční přípravu trvající několik dní nahradily automatické běhy. Pro enterprise týmy je však cennější možnost sdílet data interně bez obvyklých omezení kolem osobních a zákaznických informací.

Skóre 0,9 měří podobnost simulace, ne spokojenost uživatele

Microsoft hlásí zlepšení svého kompozitního ukazatele kvality o 39 % proti počátečnímu způsobu generování. Některá oborová prostředí překročila skóre 0,9 z 1,0. Jde ale o interní metriku strukturální, kontextové a statistické věrnosti, nikoli o nezávislé měření přesnosti Copilotu u zákazníků.

Syntetická data navíc snadno převezmou představu svých autorů o tom, jak firma funguje. Veřejné inzeráty a podání SEC dobře popíšou role a velikost, hůř zachytí neformální rozhodování, neúplné zápisy, lokální jazyk nebo politiku uvnitř konkrétního týmu.

Hodnotu ukáže korelace s chybami z reálného provozu

Dalším krokem má být rozšíření do nových odvětví a hlubší modelování pracovních postupů. Rozhodující ale bude, zda chyby nalezené v syntetických firmách předpovídají problémy, které Microsoft později uvidí v bezpečně agregované telemetrii, uživatelské zpětné vazbě a incidentech z produkce.

Užitečný eval musí zachytit regresi dřív než zákazník. Pokud bude platforma jen vyrábět čistá prostředí, ve kterých se dobře měří to, co do nich Microsoft předem vložil, může mít přesné skóre a současně míjet skutečnou práci.

Lilithin verdikt

Syntetická firma je výborná figurína pro nárazové testy Copilotu. Jen ji nesmíme zaměnit za živou kancelář, kde se polovina rozhodnutí udělá mezi dveřmi a druhá se nikdy nezapíše.