16.200 preguntas dibujaron el mapa oculto en un modelo de lenguaje

Una evaluación sencilla preguntó 16.200 veces a un modelo si unas coordenadas correspondían a tierra o agua y compuso un mapa mundial con las respuestas. El resultado revela de forma visual el conocimiento geográfico de los pesos, pero sin puntuación, baseline ni método completo sirve más como radiografía que como clasificación.

Las coordenadas en texto se convirtieron en continentes

Andrej Karpathy destacó un experimento que entrega a un LLM una latitud y una longitud como texto y solicita una respuesta binaria, “Land” o “Water”. Tras 16.200 consultas, las respuestas se dibujan como una imagen. El resultado compartido muestra continentes reconocibles, señal de que el modelo relaciona coordenadas numéricas con la forma aproximada de la Tierra.

La publicación no incluye el prompt completo, el espaciado de los puntos, la temperatura, las repeticiones ni una accuracy agregada. Remite a resultados de modelos Claude, pero el breve texto no aporta una tabla adecuada para compararlos con rigor. Lo observable es una imagen llamativa, no un benchmark completamente especificado.

El mapa de los pesos procede de las huellas textuales de internet

El modelo no abre un servicio de mapas durante la prueba. Responde a partir de relaciones aprendidas en el entrenamiento, donde las coordenadas aparecen junto a topónimos, registros cartográficos, información meteorológica, relatos de viajes y otros textos geográficos. El experimento convierte una memoria estadística dispersa en una imagen que una persona entiende en un segundo.

El trabajo GeoLLM ya mostró que los modelos de lenguaje contienen bastante información geográfica. También comprobó que las coordenadas aisladas pueden ser una interfaz débil para predicciones más difíciles y que el contexto de OpenStreetMap mejora mucho el rendimiento. El más reciente GPSBench, con 57.800 ejemplos repartidos en 17 tareas, encuentra un límite parecido: los modelos manejan mejor la geografía aproximada que la localización exacta de ciudades y los cálculos complejos con coordenadas.

Un mapa bonito puede ocultar una baseline fácil y errores regionales

El contorno de los continentes no revela cuántos puntos se clasificaron correctamente. La geometría del muestreo, la proporción de agua, la resolución de la cuadrícula y el criterio para las celdas costeras pueden alterar el resultado. Sin baseline sencillas, como responder siempre “Water”, y sin métricas regionales, resulta imposible saber si el modelo conoce islas pequeñas y costas o solo dibuja una silueta aproximada.

La prueba tampoco mide navegación ni razonamiento geométrico. Un modelo puede recordar que un par de números se asocia con tierra y fallar al calcular distancias, direcciones o ubicaciones poco representadas. Una visualización convincente suaviza fácilmente esas diferencias.

Los datos abiertos y un mapa de errores convertirán la demo en benchmark

El siguiente paso consiste en publicar los 16.200 puntos, el prompt exacto, las respuestas de cada modelo y el ground truth. Además de la accuracy general, conviene informar de la precisión equilibrada para tierra y agua, el rendimiento según la distancia a la costa y un mapa regional de errores.

La estabilidad será la prueba más reveladora. Si los continentes desaparecen tras un pequeño cambio en el formato de las coordenadas o en la redacción, el experimento habrá encontrado una asociación frágil. Si el patrón resiste distintos formatos, modelos y repeticiones, tendremos un eval barato de cuánto mundo lleva realmente un LLM en sus pesos.

El veredicto de Lilith

El modelo recibió 16.200 alfileres y los clavó de memoria en un globo hasta dibujar los continentes. Ahora toca girarlo y contar cuántos alfileres acabaron en el mar.