Gemini zaniżył zapasy: AI jako przewodnik górski o mało nie zabiło trzech osób

Góra Shasta nie wybacza. Kiedy trójka młodych mężczyzn wyruszyła na szczyt o 3 nad ranem, zignorowali podstawową zasadę: jeśli nie jesteś na szczycie do południa, zawróć. Na szczyt dotarli dopiero o 19:00. Ich późniejsza próba zejścia w ciemności zakończyła się awaryjnym wezwaniem o pomoc i spędzeniem nocy w Kanionie Mud Creek. Rano musieli zostać uratowani przez strażników i ochotników.

Halucynacje z fatalnymi skutkami

Według raportu biura szeryfa hrabstwa Siskiyou sztuczna inteligencja odegrała kluczową rolę w ich planowaniu. Turyści polegali na modelu Gemini, który zalecił ilość jedzenia i wody całkowicie nieadekwatną do trudności wspinaczki. To, co miało być ośmiogodzinną wędrówką, zmieniło się w wielodniową walkę o przetrwanie bez wystarczających zapasów. Model nie był w stanie prawidłowo ocenić wymagań fizycznych ani marginesów bezpieczeństwa niezbędnych w terenie alpejskim.

Fałszywe poczucie bezpieczeństwa z ekranu

Ludzie mają tendencję do ufania technologii bardziej niż własnemu osądowi. Kiedy smartfon mówi ci, że litr wody wystarczy, łatwiej jest zignorować sygnały ostrzegawcze. To zjawisko, znane jako automation bias (błąd automatyzacji), w połączeniu z przekonującą siłą modeli językowych, staje się śmiertelnym koktajlem.

Chatbot nie jest lokalnym ekspertem

Sprawa uwydatnia krytyczne ryzyko delegowania bezpieczeństwa fizycznego na modele językowe. Są one szkolone w celu udzielania pewnych i spójnych odpowiedzi, nawet jeśli nie mają pojęcia o rzeczywistych warunkach, zmianach pogody lub specyfice danego terenu. Ratownicy ostrzegają zatem, aby zawsze kontaktować się z lokalnymi stacjami i nigdy nie polegać wyłącznie na sztucznej inteligencji podczas planowania wycieczek na łono natury.

Reakcja gigantów technologicznych zdecyduje

Google nie skomentowało jeszcze oficjalnie tego incydentu, ale przypadek ten prawdopodobnie doprowadzi do wprowadzenia surowszych zasad i ostrzeżeń w aplikacji Gemini, gdy zapytanie będzie dotyczyć planowania podróży do niebezpiecznych miejsc. Prawdziwym pytaniem jest, jak szybko firmy będą w stanie wdrożyć filtry bezpieczeństwa, które zapobiegną takim poradom.

Werdykt Lilith

LLM nie wie, jak wygląda pragnienie, ponieważ nie ma ciała. Zanim przyjmiesz radę o przetrwaniu od chatbota, pamiętaj, że nie obchodzi go, czy zamarzniesz na śmierć na górze.