Klasyfikacja za pomocą LLM się kończy, nadchodzi kontrolowana halucynacja

Limit sztywnego słownika przy tagowaniu treści

Programista Simon Willison opisał problem, z którym spotyka się każdy, kto próbuje użyć LLM do organizacji danych: jeśli podasz modelowi w prompcie dwa tysiące tagów i powiesz „wybierz właściwe”, zacznie on popełniać błędy. Modele mają trudności z utrzymaniem uwagi nad ogromnymi listami, często je ignorując lub wymyślając własne kategorie. Dlatego Willison proponuje odwrócenie podejścia: pozwolenie modelowi na swobodne generowanie tagów, a dopiero potem algorytmiczne mapowanie ich na istniejącą bazę danych.

Prawdopodobieństwo wygrywa z regułami

Takie podejście rozwiązuje podstawowe nieporozumienie dotyczące działania modeli językowych. Tradycyjna inżynieria próbuje wtłoczyć LLM w wąski korytarz (wybierz z A, B, C), co jest sprzeczne z ich statystyczną naturą. Metoda Willisona wykorzystuje mocną stronę modelu (generowanie skojarzeń na podstawie kontekstu), a słabość kompensuje klasycznym kodem (wyszukiwanie wektorowe najbliższego istniejącego tagu). Dla programistów oznacza to koniec skomplikowanych promptów, które próbują wymusić ścisły format.

Osadzanie przenosi się do post-processingu

Krytycznym punktem tej propozycji jest niezawodność późniejszego dopasowania. Jeśli model wyhalucynuje termin, który jest semantycznie zbyt odległy od istniejącego słownika, wyszukiwanie wektorowe może przypisać bzdury. System zmienia w ten sposób problem z „model ignoruje listę” na „model trafił w zły wektor”. Bez człowieka w roli arbitra lub dobrze dostrojonego progu podobieństwa błąd po prostu przesuwa się warstwę dalej.

Kiedy stanie się to natywną funkcją

Kluczowe będzie obserwowanie, jak dostawcy API zareagują na ten wzorzec. Dzisiaj wymaga to zewnętrznych osadzeń i własnej logiki. Dowodem dojrzałości będzie moment, w którym firmy takie jak OpenAI czy Anthropic zaoferują hybrydowy punkt końcowy, który wykona tę dwufazową operację w jednym wywołaniu, natywnie rozwiązując problem dużych zadań klasyfikacyjnych.

Werdykt Lilith

Próba związania modelu językowego stałą listą przypomina zmuszanie wody do płynięcia pod górę. Inżynierowie w końcu zrozumieli, że zamiast budować lepsze tamy, wydajniej jest postawić zbiornik na dole wzgórza.