llm-anthropic 0.31 dodaje Fable 5.2. Max effort zużył 128 000 tokenów i nie zwrócił obrazu

Simon Willison dodał Claude Fable 5.2 do llm-anthropic 0.31 i pokazał praktyczną pułapkę: max effort zużył 128 000 thinking tokenów w jednym teście SVG, lecz nie zwrócił obrazu. Effort jest parametrem niezawodności, a nie suwakiem jakości.

Plugin udostępnił model w terminalu w dniu premiery

Po aktualizacji można wywołać claude-fable-5.2 na poziomach low, medium, high, xhigh i max. Willison sprawdził SVG pelikana na rowerze. Najlepszy wynik dał xhigh, a max zużył 128 000 thinking tokenów. Fable 5 i 5.1 kończyły wcześniej ten sam test.

Cienki adapter zamienia premierę w powtarzalny test

Plugin nie zwiększa możliwości modelu. Skraca drogę od release note do własnego pomiaru i utrzymuje modele w jednym środowisku. Zespół może porównać wersję na swoich danych przed przebudową produkcyjnego workflow.

Najdroższe ustawienie nie dostarczyło artefaktu w jednej próbie

To jeden prompt jednego programisty, a nie systematyczny benchmark. Pokazuje jednak ryzyko: zakończone wywołanie może nie zawierać pliku. Cena $8 za milion tokenów wejściowych i $40 za milion wyjściowych nie chroni przed stratą, gdy reasoning zużyje cały budżet.

Własne evals muszą mierzyć wynik, koszt i puste odpowiedzi

Zespoły powinny ponownie testować każdy effort, ustawić limity tokenów i sprawdzać artefakt. Ważniejsze od kolejnego ładnego obrazu będzie stabilne ukończenie tej samej serii zadań.

Werdykt Lilith

Kran z napisem max może wypuścić najwięcej tokenów i zostawić puste wiadro. Pipeline musi sprawdzać gotowy artefakt, a nie tylko zielony status wywołania API.