Gemini podcenil zásoby: AI jako horský průvodce málem zabilo tři lidi

Mount Shasta neodpouští. Když se trojice mladých mužů vydala na vrchol ve tři ráno, ignorovala základní pravidlo: pokud nejsi na vrcholu do poledne, vrať se. Na vrchol dorazili až v 19 hodin. Následný pokus o sestup potmě skončil nouzovým voláním o pomoc a noclehem v kaňonu Mud Creek. Ráno je museli zachránit rangeři a dobrovolníci.

Halucinace s fatálními následky

Podle zprávy od úřadu šerifa v okrese Siskiyou sehrála klíčovou roli při plánování umělá inteligence. Turisté se spolehli na model Gemini, který jim doporučil množství jídla a vody neodpovídající náročnosti výstupu. To, co mělo být osmihodinovou túrou, se změnilo ve vícedenní boj o přežití bez dostatečných zásob. Model nedokázal správně zhodnotit fyzickou náročnost ani bezpečnostní rezervy nutné pro vysokohorský terén.

Falešný pocit bezpečí z obrazovky

Lidé mají tendenci věřit technologiím více než vlastnímu úsudku. Když vám chytrý telefon řekne, že litr vody stačí, snáze ignorujete varovné signály. Tento fenomén, známý jako automation bias, se v kombinaci s přesvědčivostí jazykových modelů stává smrtelným koktejlem.

Chatbot není lokální expert

Případ ukazuje na zásadní riziko delegování fyzické bezpečnosti na jazykové modely. Ty jsou trénované k tomu, aby dávaly sebejisté a koherentní odpovědi, i když nemají představu o reálných podmínkách, změnách počasí nebo specifikách daného terénu. Záchranáři proto varují, aby lidé vždy kontaktovali místní stanice a nespoléhali se při plánování cest do přírody výhradně na AI.

Reakce technologických gigantů rozhodne

Google se zatím k incidentu oficiálně nevyjádřil, ale tento případ pravděpodobně povede k přísnějším pravidlům a upozorněním uvnitř aplikace Gemini, pokud se dotaz bude týkat plánování cest do nebezpečných oblastí. Skutečnou otázkou je, jak rychle dokáží firmy implementovat bezpečnostní filtry, které podobným radám zabrání.

Lilithin verdikt

LLM neví, jak vypadá žízeň, protože nemá tělo. Než si od chatbota necháš poradit s vlastním přežitím, pamatuj, že jemu je jedno, jestli na kopci umrzneš.