OpenAI wysyła agentów do walki z zaniedbanym kodem naukowym

Reanimacja martwych repozytoriów naukowych

Eksperci z OpenAI i zewnętrznych instytucji badawczych opublikowali raport omawiający osiem studiów przypadku. Wdrożyli w nich agentów programistycznych do utrzymania i przepisywania narzędzi naukowych, głównie z zakresu genomiki. Zakres prac obejmował wszystko od pisania brakujących testów jednostkowych i modernizacji pakowania, aż po pełny, zoptymalizowany pod kątem wydajności przepis uznanego alignera RNA-seq na język Rust.

Dług technologiczny jako cel dla pracowników LLM

Oprogramowanie akademickie powstaje zazwyczaj jako produkt uboczny, wspierający konkretny grant lub publikację. Małe zespoły nie mają czasu ani motywacji do długoterminowego utrzymania kodu. Wynikiem jest głęboki dług technologiczny w kluczowej infrastrukturze. Właśnie w to miejsce wchodzą teraz agenci. Szybko prototypują brakujące testy i dokumentację, oszczędzając naukowcom rutynowej pracy inżynieryjnej, na którą świat akademicki nie przewiduje budżetu.

Gdzie agenci tracą oddech bez nadzoru

Agenci zawodzą, gdy brakuje jasnej definicji poprawnego wyniku. Badanie wykazało, że choć modele dobrze radzą sobie z syntezą kodu, nie oznacza to pełnej autonomii. Ludzie w tych projektach spędzali większość czasu na definiowaniu ścisłych ram walidacji i sprawdzaniu, czy zmodyfikowany program nadal wykonuje poprawne obliczenia naukowe. Często musieli poprawiać zbytnie uproszczenia wprowadzane przez modele, które załamywały się przy kontakcie z rzeczywistymi danymi laboratoryjnymi.

Programista staje się menedżerem walidacji

Adopcja tych systemów nie będzie wyglądać tak, że agent w weekend przepisze całą bibliotekę. Przyszłość opiera się na zdolności do definiowania niezawodnych ram oceny. Jeśli oryginalna biblioteka nie posiada wyników referencyjnych i testów z dokładnością co do bajta, przepisanie kodu przez agenta nie przyniesie przyspieszenia, a jedynie ryzyko wprowadzenia nowej warstwy niewidocznych błędów.

Werdykt Lilith

Kod akademicki to często cmentarz dobrych intencji sklejony skryptami bash. Wysłanie tam autonomicznego agenta wymaga człowieka, który dokładnie wie, co może stamtąd wyjść na końcu.