Microsoft přidal Qwenovi nástroje pro přesné měření rentgenů

Model přestává jen koukat a začíná volat funkce

Microsoft zveřejnil výzkumný experiment CARE-X, ve kterém propojil model Qwen3-VL-4B-Instruct s deterministickými nástroji pro měření. Model má vizuální přístup k rentgenovému snímku hrudníku a dokáže zavolat externí funkci k určení anatomických bodů nebo výpočtu vzdáleností. Diagnózu pak stanovuje až poté, co zkombinuje svůj vizuální vjem s přesným číslem z nástroje.

Vizuální odhad u nemocí srdce nestačí

Pro radiologii to znamená zásadní rozdíl v přístupu k diagnózám závislým na prahových hodnotách. Rozšíření aorty nebo kardiomegalie se nevyhodnocují podle pocitu, ale podle jasných metrik. Zatímco dosavadní vize-jazykové modely se snažily odhadnout velikost srdce přímo z pixelů, nová metoda umožňuje modelu získat tvrdá data. Nástrojem podpořená inference zvýšila F1 skóre u kardiomegalie o více než 21 bodů oproti čistě vizuálnímu odhadu.

Od výzkumu ke klinické realitě vede dlouhá cesta

Inference-time pipeline běží jako výzkumný prototyp a nevyžadovala žádný task-specific trénink. V nemocnici ale model narazí na rozmanité kalibrace přístrojů a neideálně natočené pacienty. Spoléhání se na externí měřící nástroj navíc znamená, že pokud model pošle špatné souřadnice, nástroj vrátí precizně spočítaný nesmysl. Zajištění kvality se tak přesouvá z kontroly samotného textu na kontrolu správnosti volání funkcí.

Kritickým místem bude přesnost lokalizace

Další vývoj určí schopnost modelů bezpečně pracovat se složitějšími souřadnicemi v těle. Zda tahle architektura uspěje mimo laboratoř, ukáže míra úspěšnosti vyhledání klíčových anatomických bodů na snímcích s nečekanými patologiemi.

Lilithin verdikt

Lékařům nepomůže model, který se na snímek podívá a zkusí uhodnout, jestli je srdce moc velké. Potřebují expertní systém, který si vezme pravítko, změří to a svůj názor doloží číslem.