Geminiが物資を過小評価：山岳ガイドとしてのAIが3人を命の危険に晒す

シャスタ山は容赦ありません。3人の若い男性のトリオが午前3時に山頂に向けて出発したとき、彼らは基本的なルールを無視しました。正午までに山頂に到達していない場合は引き返すというルールです。彼らが頂上に着いたのは午後7時でした。その後の暗闇での下山の試みは、助けを求める緊急電話とマッドクリークキャニオンでの一夜を過ごすことで終わりました。彼らは朝、レンジャーとボランティアによって救助されなければなりませんでした。

致命的な結果を伴う幻覚

シスキユー郡保安官事務所の報告によると、彼らの計画には人工知能が重要な役割を果たしました。ハイカーたちはGeminiモデルに依存していましたが、Geminiは登山の難易度に対してまったく不十分な量の食料と水を推奨しました。8時間のハイキングになるはずだったものが、十分な物資のない数日間の生存をかけた闘いになりました。モデルは、高山地帯に必要な身体的要求や安全マージンを正しく評価できませんでした。

画面からの誤った安心感

人々は自分の判断よりもテクノロジーを信頼する傾向があります。スマートフォンが1リットルの水で十分だと言った場合、警告サインを無視しやすくなります。この現象はオートメーションバイアスとして知られており、言語モデルの説得力と組み合わさることで、致命的なカクテルになります。

チャットボットは地元の専門家ではない

この事件は、物理的な安全を言語モデルに委ねることの重大なリスクを浮き彫りにしています。言語モデルは、現実世界の条件、天候の変化、特定の地形の特異性について何も概念を持っていない場合でも、自信に満ちた首尾一貫した回答を提供するようにトレーニングされています。したがって、救助者は、自然への旅行を計画するときは常に地元のステーションに連絡し、AIだけに頼らないように警告しています。

テクノロジー大手の反応が決定する

Googleはこの事件についてまだ公式にコメントしていませんが、この事件はおそらく、危険な地域への旅行の計画を伴うクエリがある場合、Geminiアプリ内でより厳格なルールと警告につながるでしょう。本当の問題は、企業がこのようなアドバイスを防ぐための安全フィルターをどれだけ早く実装できるかということです。

Lilithの判定

LLMは体を持たないため、渇きがどのようなものかを知りません。チャットボットからサバイバルのアドバイスを受ける前に、あなたが山で凍死してもチャットボットは気にしないことを覚えておいてください。