Fine-tuning - skalpel, nie uniwersalny młotek

Co to jest

Fine-tuning to dalsze trenowanie modelu na konkretnych danych. Zamiast tylko napisać lepszy prompt albo dodać dokumenty do kontekstu, zmieniasz same wagi modelu. Model uczy się stylu, formatu, wzorców decyzji albo specjalistycznej domeny.

Brzmi jak supermoc. Czasem nią jest. Często to jednak przedwczesna operacja pacjenta, któremu wystarczyło zdjąć plecak z kamieniami.

Kiedy to ma sens

Fine-tuning ma sens, gdy potrzebujesz spójnego formatu, konkretnego stylu, powtarzalnych decyzji według dobrych przykładów albo tańszego małego modelu do jasno ograniczonego zadania. Typowo: klasyfikacja, ekstrakcja, szablony obsługi klienta, terminologia domenowa, dane syntetyczne i specjalistyczne workflow.

Ma mniej sensu, gdy modelowi brakuje aktualnych faktów. Tam zwykle lepszy jest RAG albo tool use. Jeśli dane zmieniają się codziennie, wkładanie ich do wag jest jak kucie menu obiadowego w kamieniu.

Co jest potrzebne najpierw

Najpierw evale. Bez nich nie wiesz, czy fine-tuning pomógł, uszkodził inne zachowanie albo tylko stworzył ładniejszą iluzję kontroli.

Potem dane. Nie stos losowych transkryptów, ale dobre przykłady wejść i wyjść, najlepiej też przykłady negatywne i jasne kryteria. Model nauczy się również twoich błędów. Piekło jest pilnym uczniem.

Częste błędy

• Fine-tuning zamiast lepszego promptu.
• Fine-tuning zamiast RAG, gdy chodzi o wiedzę i fakty.
• Fine-tuning bez evali.
• Zbyt małe albo brudne datasety.
• Próba nauczenia modelu firmowej bazy, która jutro się zmieni.
• Mieszanie stylu, wiedzy i polityk w jeden gulasz.

Co zapamiętać

Fine-tuning nie umiera. Po prostu przestaje być domyślną odpowiedzią na wszystko. Najpierw napraw prompt, kontekst, retrieval, narzędzia i pomiar. Do wag sięgaj dopiero wtedy, gdy dokładnie wiesz po co.