16.200 Fragen zeichneten die verborgene Karte eines Sprachmodells

Eine einfache Evaluation fragte ein Modell 16.200 Mal, ob bestimmte Koordinaten auf Land oder Wasser liegen, und setzte die Antworten zu einer Weltkarte zusammen. Das Ergebnis macht geografisches Wissen in den Gewichten sichtbar, ist ohne Punktzahl, Baseline und vollständige Methode aber eher ein Röntgenbild als eine Rangliste.

Textkoordinaten wurden zu den Umrissen der Kontinente

Andrej Karpathy machte auf ein Experiment aufmerksam, das einem LLM Längen- und Breitengrad als Text übergibt und die binäre Antwort „Land“ oder „Water“ verlangt. Nach 16.200 Abfragen werden die Antworten als Bild dargestellt. Im geteilten Ergebnis sind Kontinente erkennbar. Das Modell verbindet numerische Koordinaten also mit der groben Form der Erde.

Der öffentliche Beitrag nennt weder den vollständigen Prompt noch Punktabstände, Temperatur, Wiederholungen oder eine Gesamtgenauigkeit. Er verweist auf Ergebnisse für Claude-Modelle, enthält selbst aber keine Tabelle für einen belastbaren Vergleich. Sichtbar ist ein eindrucksvolles Bild, kein vollständig spezifizierter Benchmark.

Die Karte in den Gewichten stammt aus den Textspuren des Internets

Das Modell öffnet bei diesem Test keinen Kartendienst. Es antwortet aus Zusammenhängen, die es im Training gelernt hat. Dort stehen Koordinaten neben Ortsnamen, Karteneinträgen, Wetterberichten, Reisebeschreibungen und anderen geografischen Texten. Das Experiment verwandelt verteiltes statistisches Gedächtnis in ein Bild, das Menschen in einer Sekunde erfassen.

Frühere GeoLLM-Forschung zeigte bereits, dass Sprachmodelle erhebliche geografische Informationen enthalten. Sie zeigte zugleich, dass reine Koordinaten für schwierigere Vorhersagen eine schwache Schnittstelle sein können und Kontext aus OpenStreetMap die Leistung deutlich verbessert. Der neuere GPSBench mit 57.800 Beispielen in 17 Aufgaben beschreibt eine ähnliche Grenze: Modelle beherrschen grobe Geografie besser als exakte Stadtlokalisierung und komplexe Koordinatenberechnungen.

Eine schöne Karte kann eine leichte Baseline und regionale Fehler verbergen

Die Umrisse der Kontinente verraten nicht, wie viele Punkte korrekt klassifiziert wurden. Stichprobengeometrie, Wasseranteil, Rasterauflösung und die Regel für Küstenzellen können das Ergebnis stark verändern. Ohne einfache Baselines wie die konstante Antwort „Water“ und ohne regionale Kennzahlen bleibt offen, ob das Modell kleine Inseln und Küsten kennt oder nur eine grobe Silhouette zeichnet.

Der Test misst außerdem weder Navigation noch geometrisches Denken. Ein Modell kann sich korrekt daran erinnern, dass ein Zahlenpaar mit Land zusammenhängt, und dennoch bei Distanz, Richtung oder schwach repräsentierten Regionen scheitern. Eine überzeugende Visualisierung glättet solche Unterschiede leicht.

Offene Daten und eine Fehlerkarte machen aus der Demo einen Benchmark

Als Nächstes sollten alle 16.200 Punkte, der exakte Prompt, die Antworten jedes Modells und die Ground Truth veröffentlicht werden. Neben der Gesamtgenauigkeit braucht es eine ausgewogene Genauigkeit für Land und Wasser, Ergebnisse nach Entfernung zur Küste und eine regionale Fehlerkarte.

Am aufschlussreichsten wird die Stabilität sein. Lösen sich die Kontinente nach einer kleinen Änderung des Koordinatenformats oder der Formulierung auf, hat das Experiment eine fragile Assoziation gefunden. Bleibt das Muster über Formate, Modelle und wiederholte Läufe erhalten, entsteht ein günstiger Eval dafür, wie viel von der Welt ein LLM tatsächlich in seinen Gewichten trägt.

Liliths Urteil

Das Modell bekam 16.200 Nadeln und steckte sie aus dem Gedächtnis so auf einen Globus, dass Kontinente erschienen. Jetzt müssen wir ihn drehen und zählen, wie viele Nadeln im Meer landeten.