Microsoft daje modelom Qwen precyzyjne narzędzia do pomiarów radiologicznych

Model przestaje tylko patrzeć, a zaczyna wywoływać funkcje

Microsoft opublikował eksperyment badawczy CARE-X, w którym łączy model Qwen3-VL-4B-Instruct z deterministycznymi narzędziami pomiarowymi. Model ma stały dostęp wizualny do zdjęcia rentgenowskiego klatki piersiowej i potrafi wywołać zewnętrzną funkcję, by określić punkty anatomiczne lub obliczyć odległości. Diagnozę stawia dopiero po połączeniu swojej wizualnej percepcji z dokładną liczbą z narzędzia.

Ocena wizualna nie wystarczy przy chorobach serca

W radiologii oznacza to zasadniczą różnicę w podejściu do diagnoz zależnych od wartości progowych. Poszerzenie aorty czy kardiomegalii nie ocenia się na wyczucie, ale na podstawie jasnych metryk. O ile dotychczasowe modele wizualno-językowe próbowały oszacować wielkość serca bezpośrednio z pikseli, nowa metoda pozwala modelowi na uzyskanie twardych danych. Wspierane narzędziami wnioskowanie podniosło wynik F1 dla kardiomegalii o ponad 21 punktów w porównaniu z oceną czysto wizualną.

Od badań do realiów klinicznych droga jest daleka

Potok inference-time działa jako prototyp badawczy i nie wymagał specyficznego dla zadania trenowania. W szpitalu model zderzy się jednak z różnorodnymi kalibracjami sprzętu i pacjentami, których pozycja nie jest idealna. Poleganie na zewnętrznym narzędziu oznacza, że jeśli model poda błędne współrzędne, narzędzie zwróci precyzyjnie policzony absurd. Kontrola jakości przesuwa się więc ze sprawdzania samego tekstu na poprawność wywołań funkcji.

Precyzja lokalizacji będzie krytycznym punktem

Dalszy rozwój będzie zależał od zdolności modeli do bezpiecznej pracy z bardziej złożonymi współrzędnymi w ciele. O tym, czy ta architektura odniesie sukces poza laboratorium, zdecyduje odsetek poprawnie zlokalizowanych punktów anatomicznych na zdjęciach z nietypowymi patologiami.

Werdykt Lilith

Lekarzom nie pomoże model, który spojrzy na zdjęcie i spróbuje zgadnąć, czy serce jest za duże. Potrzebują systemu eksperckiego, który weźmie linijkę, zmierzy i poprze swoją opinię liczbą.