Microsoft uczy agentów AI rysować wykresy, w które można kliknąć

Microsoft Research udostępnił Flint-interactive, rozszerzenie języka Flint, dzięki któremu agent AI tworzy wykresy, w które można kliknąć, filtrować je i podświetlać dane. Dla zespołów budujących asystentów danych najważniejsze jest to, że zaznaczenie na wykresie może wrócić do rozmowy jako dane wejściowe.

Agent opisuje zachowanie wykresu, a kompilator robi resztę

Microsoft Research przedstawił 22 października Flint-interactive jako język do interaktywnych wizualizacji zbudowany na Flincie. Wykres ma reagować na kliknięcia, filtrowanie, przybliżanie, podświetlanie i powiązania z innymi wykresami. Autor nie musi pisać niskopoziomowego kodu. Opisuje tylko, na jakie zdarzenie wykres ma zareagować i jak ma się zmienić.

Sedno tkwi w podziale pracy. Kompilator zamienia kliknięcia, przeciągnięcia i naciśnięcia klawiszy w zdarzenia semantyczne, które mówią, jakiego elementu i jakich danych dotyczy akcja. Użytkownik albo agent przypisuje do nich operacje, na przykład zmianę stylu, etykietę punktu czy przesunięcie widoku. Przekładem na bibliotekę renderującą zajmuje się kompilator.

W czacie działa to przez Flint-MCP i MCP Apps. Agent obok specyfikacji wykresu generuje interaction_spec i renderuje interaktywny wykres bezpośrednio w rozmowie. W aplikacjach służy do tego Flint Interactive Canvas, który przekazuje zdarzenia dalej, więc kliknięcie w wykres może przefiltrować tabelę albo zmienić stan aplikacji. Do własnych interakcji jest programistyczne API.

Wykres przestaje być wynikiem i staje się punktem wyjścia do kolejnego pytania

Flint ukazał się latem jako język open source, z którego agent buduje wykresy dla Vega-Lite, ECharts czy Chart.js. Według strony projektu obsługuje dziś 52 typy wykresów i 23 gotowe interakcje. Lipcowe wydanie skupiało się na tym, żeby statyczny wykres dobrze wyglądał. Nowość idzie krok dalej: z wykresem da się pracować.

Dla użytkownika najciekawsze jest sprzężenie zwrotne. Gdy zaznaczy grupę krajów albo punkt w czasie, agent dostaje to zaznaczenie jako kontekst. Kolejne pytanie nie musi już zaczynać się od tłumaczenia, o co chodzi. Wykres staje się sposobem, żeby pokazać agentowi coś palcem.

Dla programistów korzyść jest inna. Agent nie musi przy każdej interakcji pisać i debugować własnego JavaScriptu. Microsoft sam przyznaje, że kolejne rundy pisania, debugowania i poprawek pochłaniają sporo tokenów i czasu. Krótsza specyfikacja to mniej miejsc, w których coś może się zepsuć.

Oszczędności i niezawodność zna na razie tylko autor

Tekst obiecuje niższe koszty i większą niezawodność, ale nie pokazuje żadnego pomiaru. Brakuje liczby tokenów na gotowy wykres, odsetka zepsutych interakcji i porównania z agentem, który pisze kod wprost. Przy pierwszym Flincie Microsoft opublikował przynajmniej oceny od LLM w roli sędziego. Tutaj zostaje opis i dema.

Drugie ograniczenie to słownik. Agent pewnie poradzi sobie z tym, co obejmują gotowe interakcje. Wszystko ponad to wymaga programistycznego API, a wtedy wraca dokładnie ten kod, którego język ma pozwolić uniknąć. Wśród autorów jest inżynier z zespołu Power BI, ale ogłoszenie nic nie mówi o tym, by Flint-interactive trafił do komercyjnych produktów Microsoftu.

Rozstrzygnie to, czy Flint przyjmą narzędzia spoza Microsoftu

Pierwszy sygnał: czy po Flint-MCP sięgną agenci i środowiska czatowe spoza laboratorium Microsoftu. Drugi to interakcje od społeczności: autorzy zachęcają projektantów, by zgłaszali nowe propozycje na GitHubie. Jeśli słownik się rozrośnie, będzie mniej powodów, by sięgać po własny kod.

Trzeci sygnał to pomiary. Porównanie tokenów i liczby błędów z bezpośrednim generowaniem kodu zamieniłoby demo w argument, z którym można pójść do szefa zespołu danych.

Werdykt Lilith

Microsoft zamienił agentowi pędzel na wskaźnik: człowiek stuka w wykres, a agent wie, o który kraj chodzi. Ile tokenów to oszczędza, autorzy na razie zachowują dla siebie i pokazują tylko ładne obrazki.