Gemini unterschätzte die Vorräte: KI als Bergführer hätte fast drei Menschen getötet

Der Mount Shasta verzeiht nichts. Als ein Trio junger Männer um 3 Uhr morgens zum Gipfel aufbrach, ignorierten sie eine Grundregel: Wer bis Mittag nicht auf dem Gipfel ist, kehrt um. Sie erreichten den Gipfel erst um 19 Uhr. Ihr anschließender Versuch, im Dunkeln abzusteigen, endete mit einem Notruf und einer Übernachtung im Mud Creek Canyon. Am Morgen mussten sie von Rangern und Freiwilligen gerettet werden.

Halluzinationen mit fatalen Folgen

Einem Bericht des Sheriffbüros von Siskiyou County zufolge spielte Künstliche Intelligenz eine Schlüsselrolle bei ihrer Planung. Die Wanderer verließen sich auf das Gemini Modell, das ihnen eine Menge an Essen und Trinken empfahl, die der Schwierigkeit des Aufstiegs in keiner Weise angemessen war. Was als achtstündige Wanderung geplant war, wurde zu einem mehrtägigen Überlebenskampf ohne ausreichende Vorräte. Das Modell war nicht in der Lage, die körperlichen Anforderungen oder die für alpines Gelände erforderlichen Sicherheitsmargen richtig einzuschätzen.

Ein falsches Gefühl der Sicherheit durch den Bildschirm

Menschen neigen dazu, der Technologie mehr zu vertrauen als ihrem eigenen Urteilsvermögen. Wenn Ihr Smartphone Ihnen sagt, dass ein Liter Wasser ausreicht, ist es einfacher, die Warnsignale zu ignorieren. Dieses als Automation Bias bekannte Phänomen wird in Kombination mit der Überzeugungskraft von Sprachmodellen zu einem tödlichen Cocktail.

Ein Chatbot ist kein lokaler Experte

Der Fall verdeutlicht das kritische Risiko, die physische Sicherheit an Sprachmodelle zu delegieren. Sie sind darauf trainiert, selbstbewusste und kohärente Antworten zu geben, auch wenn sie keine Ahnung von realen Bedingungen, Wetterumschwüngen oder den Besonderheiten eines bestimmten Geländes haben. Retter warnen daher davor, sich bei der Planung von Ausflügen in die Natur ausschließlich auf KI zu verlassen und immer lokale Stationen zu kontaktieren.

Die Reaktion der Tech-Giganten wird entscheiden

Google hat sich zu dem Vorfall noch nicht offiziell geäußert, aber dieser Fall wird wahrscheinlich zu strengeren Regeln und Warnungen innerhalb der Gemini-App führen, wenn sich eine Anfrage auf die Planung von Reisen in gefährliche Gebiete bezieht. Die eigentliche Frage ist, wie schnell Unternehmen Sicherheitsfilter implementieren können, um solche Ratschläge zu verhindern.

Liliths Urteil

Ein LLM weiß nicht, wie sich Durst anfühlt, weil es keinen Körper hat. Bevor Sie Überlebenstipps von einem Chatbot annehmen, sollten Sie sich daran erinnern, dass es ihm egal ist, ob Sie auf einem Berg erfrieren.