Microsoft testuje Copilota na syntetycznych firmach zamiast danych klientów

Microsoft Research stworzył platformę, która na potrzeby oceny Copilota generuje całe syntetyczne firmy. Obejmują one setki pracowników, struktury organizacyjne, e-maile, spotkania, dokumenty i historię zmieniającą się w czasie. Trzy środowiska odwzorowują branżę farmaceutyczną, rynki kapitałowe i firmę programistyczną bez użycia danych klientów.

Trzy sztuczne firmy zastępują wrażliwe środowiska klientów

Platforma opiera strukturę na publicznych źródłach, takich jak baza zawodów O*NET, ogłoszenia o pracę i dokumenty składane do amerykańskiej SEC. Na tej podstawie tworzy role, hierarchię, zadania i kontekst branżowy. Wiadomości, dokumenty oraz protokoły spotkań powstają syntetycznie.

System generuje następnie pytania do Copilota i sprawdza ich oparcie w danych, naturalność oraz unikalność. Pozwala to testować pytania zależne od czasu, na przykład o decyzję zespołu z poprzedniego czwartku albo zmiany od ostatniego przeglądu kwartalnego. Microsoft deklaruje, że na żadnym etapie nie korzysta z prawdziwych danych klientów.

Evals stają się powtarzalną infrastrukturą zamiast zbiorem pojedynczych testów

Ogólny benchmark nie pokaże, czy Copilot właściwie śledzi projekt, relacje między zespołami i historię decyzji. Syntetyczna firma daje zespołom produktowym stały scenariusz do testów regresji i pozwala powtórzyć tę samą ocenę po zmianie modelu lub warstwy retrieval.

Microsoft szacuje oszczędność na około 100 000 dolarów na jeden zbiór ewaluacyjny i 300 000 dolarów w całym projekcie. Automatyczne uruchomienia zastąpiły ręczną pracę trwającą kilka dni. Dla zespołów enterprise ważniejsza może być możliwość udostępniania danych testowych wewnątrz firmy bez typowych ograniczeń dotyczących danych osobowych i informacji klientów.

Wynik 0,9 mierzy wierność symulacji, a nie zadowolenie użytkownika

Microsoft podaje, że złożona metryka jakości poprawiła się o 39% względem pierwszej metody generowania. Niektóre środowiska branżowe uzyskały ponad 0,9 punktu na 1,0. To jednak wewnętrzny pomiar wierności strukturalnej, kontekstowej i statystycznej, a nie niezależna ocena skuteczności Copilota u klientów.

Dane syntetyczne mogą też przejąć założenia autorów na temat działania organizacji. Ogłoszenia o pracę i dokumenty SEC dobrze opisują role oraz skalę, lecz gorzej oddają nieformalne decyzje, niepełne notatki, lokalny język i politykę konkretnego zespołu.

Wartość pokaże związek z błędami wykrywanymi na produkcji

Microsoft planuje dodać kolejne branże i dokładniej modelować procesy pracy. Najważniejsze będzie jednak to, czy błędy znalezione w syntetycznych firmach przewidują problemy widoczne później w bezpiecznie zagregowanej telemetrii, opiniach użytkowników i incydentach produkcyjnych.

Dobry eval wychwytuje regresję przed klientem. Jeśli platforma będzie jedynie wytwarzać uporządkowane środowiska mierzące to, co Microsoft wcześniej w nich zapisał, może osiągać precyzyjne wyniki i jednocześnie rozmijać się z prawdziwą pracą.

Werdykt Lilith

Syntetyczna firma to świetny manekin do testów zderzeniowych Copilota. Nie należy mylić jej z żywym biurem, gdzie połowa decyzji zapada w przelocie, a reszta nigdy nie trafia do notatek.