Okno kontekstu — ile piekła mieści się w prompcie

Złota reguła: Kontekst to nie pamięć. To blat roboczy. Wszystko, co na niego kładziesz, płacisz trzykrotnie: pieniędzmi, latency i uwagą modelu zabraną temu, co ważne. Kuratoruj. Nie zsypuj.

Kiedy tego potrzebujesz

Gdy słyszysz „nie mieści się w prompcie”, „model zapomniał, co mówiłem godzinę temu”, „dlaczego to takie drogie” albo „RAG czy wkleić cały dokument?”. Okno kontekstu to budżet każdej aplikacji LLM. Większość problemów z jakością i ceną bierze się z tego, jak ten budżet jest zarządzany.

U agentów okno to pole bitwy: system prompt, tools, historia, diffy, logi, web. Bez kuracji closed loop staje się drogim magazynem szumu.

Jak to działa

Okno kontekstu to maksimum tokenów, które model widzi w jednym przebiegu — wszystko naraz: instrukcje systemowe, schematy narzędzi, historia, dokumenty, wyniki tools i bieżące pytanie. Token to nie słowo. To kawałek tekstu. Licz konserwatywnie.

Trzy cechy, które musisz znać:

1. Uwaga nie jest równomierna. Modele najpewniej czytają początek i koniec; środek długiego okna ginie („lost in the middle”). Milion tokenów okna to nie milion tokenów uwagi.
2. Płacisz za każdy token, wielokrotnie. W czacie cała historia leci znowu przy każdej turze. Długi kontekst drożeje każdą rundę — stąd prompt caching dla stabilnego prefiksu.
3. Więcej balastu = gorsze odpowiedzi. Ważny detal utopiony w dumpie archiwum przegrywa z tym samym detalem podanym czysto. Śmieci na wejściu dają elegancko przetworzone śmieci.

Jak gospodarować oknem, krok po kroku

1. Zmierz, co w nim masz. Policz tokeny system promptu, opisów narzędzi i typowego kontekstu zadania. Ludzie często odkrywają, że połowę budżetu zjada nieczytany boilerplate.

2. Odchudź część stabilną. System prompt i schematy tools mają być gęste. Każde zdanie płaci czynsz. Trzymaj je stabilne — niezmienny prefiks to warunek sensownego cache.

3. Wybieraj, co wstawiasz. Sekcje relewantne do pytania, nie całe dokumenty; ostatnie N linii logu plus błąd, nie pełny dump. Gdy korpus przerosnie rozsądek, czas na RAG — selekcja relewancji to cała pointa.

4. Kluczowe informacje na brzegach. Instrukcje na górze, bieżące pytanie na dole, balast najlepiej nigdzie. Środek długiego kontekstu to miejsce, gdzie fakty umierają.

5. Zarządzaj historią rozmowy. Długi chat sumaryzuj i odrzucaj starsze tury. Gdy wątek tonie w ślepych uliczkach, zacznij czysto z ostrzejszym briefem. Zanieczyszczona historia ciągnie jakość w dół.

6. Sprawdź evalami. Mierz jakość odpowiedzi względem długości i składu kontekstu na twoim zadaniu. Wykresy needle-in-a-haystack ładnie wyglądają i mało mówią o aplikacji. U agentów mierz też success rate i koszt na ukończone zadanie, nie tylko „się zmieściło”.

Kontekst vs pamięć vs RAG

Kontekst to to, co model widzi teraz. Pamięć wybiera, co przeżywa między biegami (streszczenia, notatki, structured store). RAG znajduje właściwe kawałki i dokłada je do kontekstu. Długie okno czasem zastępuje RAG przy małych korpusach. Częściej go uzupełnia: RAG wybiera, okno trzyma.

Praktyczna decyzja 2025–26: mała stabilna dokumentacja → long context + cache. Duży żywy korpus → RAG (często hybryda). Multi-hop nad wybranymi docs → kandydaci RAG + wystarczająco duże okno. Agent z tools → trzymaj w oknie tylko to, czego potrzebuje następny krok; resztę dociągnie narzędziem.

Częste błędy

• „Mieści się, więc wrzucam wszystko” → mieści się ≠ należy.
• Kluczowa instrukcja w środku 100k tokenów → tylko brzegi.
• Zmienianie system promptu co turę → psujesz cache i płacisz full price; dynamiczne rzeczy na koniec.
• Myślenie, że okno = pamięć długoterminowa → znika z końcem biegu; zapisuj świadomie.
• Nieskończona rozmowa → sumaryzuj albo restartuj.
• Wiara w marketingowe liczby → „1M tokenów” to pojemność, nie jakość.
• Agent bez zarządzania tool outputami → pełne payloady API i logi zabijają budżet i uwagę; streszczaj i filtruj.

Kiedy długi kontekst wystarcza (a RAG jest zbędny)

Mały stabilny korpus (dziesiątki stron), jednorazowa analiza dużego dokumentu, synteza przez całość zamiast szukania detalu. Z prompt cachingiem „wklej raz, pytaj wiele” bywa tańsze i lepsze niż krucha pipeline RAG. Granicę znajdziesz tylko mierząc obie baseline na tym samym eval set.

Źródła

• Lost in the Middle: How Language Models Use Long Contexts (Liu et al., 2023)
• Effective context engineering for AI agents (Anthropic)
• Anthropic docs: Context windows
• AI Engineering (Chip Huyen)

Co zapamiętać

Okno kontekstu to blat roboczy modelu. Większy stół pomaga, ale nie poukłada za ciebie papierów. Mierz, co na nim leży; stabilne części trzymaj stabilne pod cache; ważne fakty kładź na brzegach; historię sumaryzuj; wstawiaj wybór, nie archiwum. Dobre systemy łączą kurację kontekstu, RAG, pamięć i evale — nie siłowe zsypywanie miliona tokenów.