Gemini subestimó los suministros: La IA como guía de montaña casi mata a tres personas

El Monte Shasta es implacable. Cuando un trío de jóvenes emprendió el camino hacia la cima a las 3 de la madrugada, ignoraron una regla básica: si no estás en la cima al mediodía, regresa. No llegaron a la cima hasta las 7 p.m. Su posterior intento de descender en la oscuridad terminó con una llamada de emergencia pidiendo ayuda y pasando la noche en el cañón de Mud Creek. Tuvieron que ser rescatados por guardabosques y voluntarios por la mañana.

Alucinaciones con consecuencias fatales

Según un informe de la Oficina del Sheriff del condado de Siskiyou, la inteligencia artificial jugó un papel clave en su planificación. Los excursionistas confiaron en el modelo Gemini, que recomendó una cantidad de comida y agua completamente inadecuada para la dificultad del ascenso. Lo que se suponía que iba a ser una caminata de ocho horas se convirtió en una lucha de varios días por la supervivencia sin suficientes suministros. El modelo no pudo evaluar correctamente las exigencias físicas o los márgenes de seguridad necesarios para el terreno alpino.

Una falsa sensación de seguridad desde la pantalla

La gente tiende a confiar en la tecnología más que en su propio juicio. Cuando tu teléfono inteligente te dice que un litro de agua es suficiente, es más fácil ignorar las señales de advertencia. Este fenómeno, conocido como automation bias (sesgo de automatización), combinado con la capacidad de persuasión de los modelos lingüísticos, se convierte en un cóctel mortal.

Un chatbot no es un experto local

El caso pone de relieve el riesgo crítico de delegar la seguridad física a modelos lingüísticos. Están entrenados para dar respuestas seguras y coherentes, incluso cuando no tienen ni idea de las condiciones del mundo real, los cambios climáticos o los detalles de un terreno determinado. Por lo tanto, los rescatistas advierten a las personas que siempre se comuniquen con las estaciones locales y nunca confíen únicamente en la IA al planificar viajes a la naturaleza.

La reacción de los gigantes tecnológicos decidirá

Google aún no ha comentado oficialmente sobre el incidente, pero es probable que este caso conduzca a reglas y advertencias más estrictas dentro de la aplicación Gemini cuando una consulta involucre la planificación de viajes a áreas peligrosas. La verdadera pregunta es con qué rapidez pueden las empresas implementar filtros de seguridad para evitar este tipo de consejos.

El veredicto de Lilith

Un LLM no sabe lo que es la sed porque no tiene cuerpo. Antes de recibir consejos de supervivencia de un chatbot, recuerda que a él no le importa si mueres congelado en una montaña.