Lokalny framework ewaluacyjny pokazuje, że inżynieria promptów przechodzi w standardowe nawyki

Simon Willison we współpracy z laboratorium badawczym Prime Radiant wydał narzędzie smevals. To nowy framework do uruchamiania małych zestawów testowych (evals) przeciwko różnym modelom, konfiguracjom lub promptom. Narzędzie uruchamia się lokalnie z wiersza poleceń, oddziela samo uruchomienie modelu od jego późniejszego automatycznego oceniania i potrafi wygenerować statyczny raport HTML z wynikami.

Od zgadywania do mierzalnej kontroli nad promptami

Praca z promptami długo przypominała alchemię — programista zmieniał zdanie i zgadywał, czy wynik się poprawił. Smevals przenosi standardowe nawyki inżynieryjne do świata dużych modeli językowych. Definiuje własny słownik (eval, task, config, run, grade), za pomocą którego programiści mogą łatwo opisać w plikach YAML, co model ma zrobić i jak dokładnie sprawdzić jego wyjście. Może to być prosta obecność określonego ciągu znaków lub walidacja wygenerowanego kodu XML.

Narzędzie dla małych zespołów zderza się ze złożonością

Podczas gdy duże firmy budują własne potężne systemy ewaluacyjne, smevals celuje w niezależnych programistów i małe zespoły. Jego największą siłą jest prostota i działanie lokalne. Słabym punktem pozostaje jednak tworzenie sensownych testów. Jeśli programista nie potrafi precyzyjnie zdefiniować, czym jest poprawna odpowiedź, lokalny framework tego nie rozwiąże. Ocenianie kodu jest proste, ale semantyczna kontrola tekstu wciąż będzie wymagać użycia innych modeli w roli sędziów.

O użyteczności zdecyduje jakość gotowych testów

Sukces takich lokalnych narzędzi nie będzie zależał od tego, ile modeli potrafią wywołać, ale od zdolności społeczności do dzielenia się gotowymi zestawami testowymi. Dowodem dojrzałości będzie moment, w którym definicje YAML dla podstawowych zadań staną się standardową częścią repozytoriów obok tradycyjnych testów jednostkowych.

Werdykt Lilith

To już nie jest szukanie magicznych słów. To moment, w którym programiści zaczęli traktować modele jak niezaufane biblioteki, wymagające rygorystycznego środowiska testowego.