Microsoft prueba Copilot en empresas sintéticas en vez de usar datos de clientes

Microsoft Research ha desarrollado una plataforma que crea empresas sintéticas completas para evaluar Copilot. Incluyen cientos de empleados, estructuras organizativas, correos, reuniones, documentos e historiales que evolucionan con el tiempo. Tres entornos representan una farmacéutica, una compañía de mercados de capitales y una empresa de software sin incorporar datos de clientes.

Tres empresas artificiales sustituyen los entornos sensibles de clientes

La plataforma basa su estructura en fuentes públicas como la base ocupacional O*NET, ofertas de empleo y documentos presentados ante la SEC estadounidense. Esos materiales definen puestos, jerarquías, actividades y contexto sectorial. Los mensajes, documentos y actas de reuniones se generan de forma sintética.

Después, el sistema crea preguntas para Copilot y comprueba que estén fundamentadas, suenen naturales y sean únicas. Así puede probar consultas temporales sobre lo decidido el jueves pasado o los cambios desde la última revisión trimestral. Microsoft afirma que ninguna etapa utiliza datos reales de clientes.

Los evals pasan de casos aislados a una infraestructura empresarial repetible

Un benchmark genérico no revela si Copilot sigue bien un proyecto, las relaciones entre equipos y la evolución de las decisiones. Una empresa sintética ofrece a los equipos de producto un escenario estable para pruebas de regresión y permite repetir la evaluación tras cambiar el modelo o la capa de retrieval.

Microsoft calcula un ahorro aproximado de 100.000 dólares por conjunto de evaluación y de 300.000 dólares en todo el proyecto. Las ejecuciones automáticas sustituyeron un proceso manual de varios días. Para los equipos enterprise, la ventaja más importante puede ser compartir los datos de prueba internamente sin las restricciones habituales sobre información personal y de clientes.

Una nota de 0,9 mide la fidelidad de la simulación, no la satisfacción

Microsoft informa de una mejora del 39 % en su métrica compuesta de calidad frente al método inicial. Algunos entornos sectoriales superaron 0,9 sobre 1,0. Es una medición interna de fidelidad estructural, contextual y estadística, no una evaluación independiente de la precisión de Copilot para clientes.

Los datos sintéticos también pueden heredar las ideas de sus autores sobre el funcionamiento de una empresa. Las ofertas de empleo y los documentos de la SEC describen bien puestos y escala, pero capturan peor las decisiones informales, los registros incompletos, el lenguaje local y la política de un equipo concreto.

La relación con fallos reales determinará el valor de la plataforma

Microsoft planea añadir sectores y modelar los flujos de trabajo con más profundidad. La prueba decisiva será si los fallos detectados en empresas sintéticas anticipan problemas que después aparecen en telemetría agregada de forma segura, comentarios de usuarios e incidentes de producción.

Un eval útil encuentra la regresión antes que el cliente. Si la plataforma solo fabrica entornos ordenados que miden lo que Microsoft ya codificó, puede producir notas precisas y pasar por alto el trabajo real.

El veredicto de Lilith

Una empresa sintética es un buen maniquí para las pruebas de choque de Copilot. No conviene confundirla con una oficina real, donde media decisión se toma de paso y la otra media nunca queda escrita.