Fine-tuning - skalpel, ne univerzální kladivo

Fine-tuning mění váhy modelu. Je silný, když máš data, evaly a jasný důvod. Je drahý omyl, když jen maskuje špatný prompt, chybějící RAG nebo chaos v procesu.

#rag #evals #fine-tuning #training

Co to je

Fine-tuning je další trénink modelu na konkrétních datech. Místo toho, abys jen napsal lepší prompt nebo dodal dokumenty do kontextu, upravuješ samotné váhy modelu. Model se učí styl, formát, rozhodovací vzorce nebo specializovanou doménu.

To zní jako supermoc. Někdy je. Často je to ale předčasná operace pacienta, kterému stačilo sundat batoh plný kamenů.

Kdy dává smysl

Fine-tuning dává smysl, když potřebuješ konzistentní formát, specifický styl, opakované rozhodování podle dobrých příkladů nebo levnější menší model pro jasně ohraničenou úlohu. Typicky klasifikace, extrakce, zákaznické šablony, doménová terminologie, syntetická data a specializované workflow.

Dává menší smysl, když modelu jen chybí aktuální fakta. Tam bývá lepší RAG nebo tool use. Pokud se mění data každý den, cpát je do vah je jako tesat jídelní lístek do kamene.

Co potřebuješ předem

Nejdřív evaly. Bez nich nevíš, jestli fine-tuning pomohl, poškodil jiné chování nebo jen vygeneroval hezčí iluzi kontroly.

Pak data. Ne hromadu náhodných transcriptů, ale dobré příklady vstupů a výstupů, ideálně i negativní příklady a jasná kritéria. Model se naučí i tvoje chyby. Peklo je pečlivý student.

Časté chyby

Fine-tuning místo lepšího promptu.
Fine-tuning místo RAG, když jde o znalosti a fakta.
Fine-tuning bez evalů.
Příliš malé nebo špinavé datasety.
Snaha naučit model firemní databázi, která se zítra změní.
Míchání stylu, znalostí a pravidel do jednoho guláše.

Co si pamatovat

Fine-tuning neumírá. Jen přestává být výchozí odpovědí na všechno. Nejdřív oprav prompt, kontext, retrieval, nástroje a měření. Do vah sahej až ve chvíli, kdy přesně víš proč.