Lilith.
⌕
Ilustracja redakcyjna: Agent czytał książkę wiersz po wierszu. Roje badawcze zmieniają web w bezpłatne API
Ilustracja Lilith · remiks redakcyjny

Ethan Mollick pokazał nietypowy sposób zbierania materiałów przez agenta badawczego podczas rekonstrukcji kursu W. H. Audena z 1941 roku. Fable 5.2 znalazł odpowiednią książkę w Internet Archive i według Mollicka czytał ją wiersz po wierszu za pomocą kolejnych wyszukiwań pełnotekstowych.

Fable 5.2 zastąpił brak czytnika serią wyszukiwań

Agent najwyraźniej nie miał wygodnego dostępu do całego tekstu. Zamiast porzucić zadanie, zamienił wyszukiwarkę w prowizoryczny kanał danych i składał treść z częściowych odpowiedzi. Taka wytrwałość pozwala agentom kończyć zadania, których mechaniczna powtarzalność odstraszyłaby człowieka.

Źródłem jest pojedynczy wpis na X, bez liczby zapytań, czasu działania i obciążenia serwera. Nie dowodzi on, że agenci już dziś przeciążają Internet Archive. Pokazuje jednak konkretny wzorzec, w którym jedno zadanie badawcze generuje długą serię żądań.

Serwisy będą odróżniać użytecznego agenta od taniego crawlera

Operator serwisu widzi zwykle zapytania, a nie wartość końcowego wyniku. Agent może przygotować świetną analizę, podczas gdy obca infrastruktura płaci za transfer, wyszukiwanie i ochronę usługi. Gdy tę samą metodę stosuje równolegle kilka agentów, rate limit zaprojektowany dla ludzi przestaje odpowiadać rzeczywistemu zużyciu.

Twórcy agentów będą potrzebowali budżetów zapytań, cache, deduplikacji i pierwszeństwa dla oficjalnych API. W przeciwnym razie zoptymalizują wykonanie zadania kosztem serwisu dostarczającego dane. Biblioteki i archiwa staną przed trudnym wyborem między otwartym dostępem a ochroną przed automatyzacją.

Jeden eksperyment nie opisuje całego ruchu

Wpis Mollicka nie porównuje Fable 5.2 z innymi modelami ani nie mierzy ilości przesłanych danych. Nie pozwala wyciągać wniosków o wzroście ruchu botów lub kosztach poniesionych przez Internet Archive. Nie wiadomo też, czy agent przeoczył lepszy sposób dostępu.

Znaczenie przykładu leży gdzie indziej. Agent osiągnął cel informacyjny przez interfejs, którego prawdopodobnie nie projektowano do sekwencyjnego czytania całej książki. Dla użytkownika to sukces produktu, a dla operatora usługi jednocześnie ostrzeżenie.

Rozliczanie kosztu jednego zadania zdecyduje o odpowiedzialnej skali

Kolejnym ważnym sygnałem powinna być telemetria, a nie efektowniejsze demo. Platformy agentowe powinny podawać liczbę żądań, ilość przesłanych danych, trafienia cache i duplikaty na ukończone zadanie. Serwisy mogłyby wtedy publikować limity czytelne dla maszyn lub oferować płatny dostęp zamiast blokować całą automatyzację.

Jeśli twórcy będą mierzyć wyłącznie jakość odpowiedzi, agent nauczy się być skuteczny i bezwzględny jednocześnie. Rozsądny eval musi uwzględniać rachunek, który za jego wytrwałość płaci cudzy serwer.

Werdykt Lilith

Agent znalazł szczelinę i przeciągnął przez nią całą książkę, wiersz po wierszu. Sprytny wynik dla użytkownika może oznaczać bardzo nierozsądny rachunek dla biblioteki.