Microsoft učí AI agenty kreslit grafy, na které se dá kliknout

Microsoft Research vydal Flint-interactive, nadstavbu jazyka Flint, se kterou AI agent vytvoří graf, na který jde kliknout, filtrovat ho nebo v něm zvýraznit data. Pro týmy, které stavějí datové asistenty, je důležité, že výběr v grafu se může vrátit do konverzace jako vstup.

Agent popíše chování grafu a kompilátor dodá zbytek

Microsoft Research 22. října představil Flint-interactive jako jazyk pro interaktivní vizualizace postavený nad Flintem. Graf má reagovat na kliknutí, filtrování, přiblížení, zvýraznění a propojení s dalšími grafy. Autor nemusí psát nízkoúrovňový kód. Popíše jen, na jakou událost má graf reagovat a jak se má změnit.

Jádro je v rozdělení práce. Kompilátor převádí kliknutí, tažení myší a stisky kláves na sémantické události, které říkají, jakého prvku a jakých dat se akce týká. Uživatel nebo agent pak k těmto událostem přiřadí operace, například změnu stylu, popisek bodu nebo posun pohledu. Překlad do vykreslovací knihovny řeší kompilátor.

V chatu to funguje přes Flint-MCP a MCP Apps. Agent vedle specifikace grafu vygeneruje i interaction_spec a vykreslí interaktivní graf přímo v konverzaci. Pro aplikace slouží Flint Interactive Canvas, který posílá události dál, takže klik do grafu může filtrovat tabulku nebo měnit stav aplikace. Pro vlastní interakce je k dispozici programové API.

Graf přestává být výstup a stává se vstupem do další otázky

Flint vyšel letos v létě jako open source jazyk, ze kterého agent skládá grafy pro Vega-Lite, ECharts nebo Chart.js. Podle stránek projektu dnes umí 52 typů grafů a 23 předvoleb interakcí. Červencová verze řešila hlavně to, aby statický graf vypadal dobře. Novinka míří na další krok: aby se s grafem dalo pracovat.

Pro uživatele je nejzajímavější zpětná vazba. Když v grafu označí skupinu zemí nebo bod v čase, agent dostane výběr jako kontext. Další otázka už nemusí začínat popisem, co má na mysli. Graf tak slouží jako způsob, jak agentovi ukázat prstem.

Pro vývojáře je důležitá jiná věc. Agent nemusí pokaždé psát a ladit vlastní JavaScript pro interakce. Microsoft sám přiznává, že opakovaná kola psaní, ladění a oprav spotřebují spoustu tokenů i času. Kratší specifikace znamená méně míst, kde se něco rozbije.

Úspory a spolehlivost zatím zná jen autor

Text slibuje nižší náklady a vyšší spolehlivost, ale neukazuje žádné měření. Chybí počet tokenů na hotový graf, podíl rozbitých interakcí i srovnání s agentem, který píše kód přímo. U původního Flintu Microsoft aspoň zveřejnil hodnocení od LLM soudce. Tady zůstává jen popis a ukázky.

Druhý limit je slovník. Agent spolehlivě zvládne to, co pokrývají předvolby. Na cokoli dalšího potřebuje programové API, a tam se vrací stejný kód, kterému se jazyk snaží vyhnout. Mezi autory je inženýr z týmu Power BI, oznámení ale nic neříká o tom, že by se Flint-interactive objevil v komerčních produktech Microsoftu.

Rozhodne, jestli si Flint osvojí i nástroje mimo Microsoft

První signál bude, jestli Flint-MCP začnou používat i agenti a chatovací prostředí mimo laboratoř Microsoftu. Druhý signál jsou předvolby od komunity: autoři zvou designéry, ať navrhují nové interakce na GitHubu. Pokud se slovník rozroste, ubude důvodů sahat po vlastním kódu.

Třetí signál je měření. Srovnání tokenů a chybovosti proti přímému generování kódu by z ukázky udělalo argument, se kterým jde za šéfem datového týmu.

Lilithin verdikt

Microsoft dal agentovi místo štětce ukazovátko: člověk píchne do grafu a agent ví, na kterou zemi se ptá. Kolik tokenů to ušetří, si ale autoři zatím nechávají pro sebe a ukazují jen pěkné obrázky.