DeepSeek V4.1 Flash 1017 podnosi wynik Terminal Bench z 31,2 do 42,3

DeepSeek wydał checkpoint V4.1 Flash 1017 i wdrożył go w serwisie, aplikacji oraz API pod dotychczasowym identyfikatorem deepseek-flash. Firma opublikowała też wagi na licencji MIT. Liczba 1017 oznacza datę 17 października, a nie nową rodzinę modeli.

Październikowy checkpoint najmocniej rośnie w benchmarkach agentowych

Według tabel DeepSeek wynik Terminal Bench 4.0 wzrósł z 31,2 do 42,3. DeepSWE v1.1 poprawił się z 74,2 do 77,0, a ProgramBench z 20,3 do 29,1. Producent twierdzi również, że model szybciej kończy zadania i generuje krótsze odpowiedzi bez zmiany cen API.

V4.1 Flash 1017 nadal przyjmuje tekst i obrazy. Ta funkcja nie pojawiła się jednak dopiero w październiku. Natywna obsługa vision trafiła już do bazowego V4.1 Flash we wrześniu. Nowe są zmienione wagi i deklarowany wzrost wydajności.

Krótsza odpowiedź może znaczyć więcej niż wyższy wynik

W zadaniach agentowych koszt nie kończy się na jednym prompcie. Model wielokrotnie czyta stan, wywołuje narzędzia i generuje następne kroki. Mniej tokenów i krótszy czas wykonania mogą obniżyć koszt całego przebiegu, nawet gdy stawka za milion tokenów się nie zmienia.

Open weights pozwalają też uruchomić i modyfikować model we własnej infrastrukturze. Ta swoboda ma cenę: to ogromny checkpoint MoE, a nie model na jedną zwykłą GPU. Dla wielu firm hostowane API pozostanie tańsze niż własny klaster serwerowy.

Porównanie z GLM 5.3 nadal opiera się na nierównych danych

Nathan Lambert zasugerował, że model może przebić GLM 5.3, oferując przy tym vision. Na razie jest to przewidywanie, nie niezależnie potwierdzony wynik. Benchmarki agentowe silnie zależą od harness, dostępnych narzędzi, reasoning effort i budżetu zadania.

Tabela producenta nie pokaże również zachowania na konkretnym repozytorium lub interfejsie. Wyższy wynik kwalifikuje checkpoint do testów, ale nie uzasadnia automatycznego skierowania ruchu produkcyjnego.

Własne zadania pokażą oszczędność czasu i pieniędzy

Niezależne evals powinny porównać DeepSeek, GLM i inne modele open-weight w tym samym harness oraz z równym budżetem. Zespoły muszą mierzyć powodzenie całego zadania, liczbę tokenów, czas wykonania i interwencje człowieka.

Liczy się też działanie poza API DeepSeek. Obsługa w vLLM i SGLang, wymagania pamięciowe oraz stabilność tool use zdecydują, czy otwarty checkpoint poszerzy możliwości wdrożeń, czy pozostanie głównie tanią usługą hostowaną.

Werdykt Lilith

DeepSeek wystawił szybszego biegacza, ale większość stoperów nadal trzyma DeepSeek. Zanim dostanie produkcyjną pałeczkę, zmierzcie go na własnej bieżni.