Neunzehn Smartphone-Modelle sollen GPT-4 schlagen, doch ohne Metrik fehlt die halbe Aussage

Ethan Mollick schrieb, 19 AI-Modelle, die auf einem modernen Smartphone laufen können, seien besser als GPT-4. Er stellte dem eine Phase gegenüber, in der GPT-4 seiner Einschätzung nach ein volles Jahr lang unangefochten das beste Modell war und der Markt über einen geheimen Vorsprung von OpenAI rätselte.

Aus der früheren Spitze wird eine Schwelle für das Gerät in der Tasche

Der Beitrag beschreibt einen deutlichen Wandel bei der Verteilung von Fähigkeiten. Ein Modell, das als Referenz für die Spitze eines entfernten Dienstes diente, ist in Mollicks Vergleich zu einer Hürde geworden, die eine größere Gruppe direkt auf Verbrauchergeräten laufender Modelle überwindet.

Die Quelle nennt jedoch weder den Benchmark und die Liste der 19 Modelle noch eine technische Definition des modernen Smartphones. Auch die als Ausgangspunkt verwendete GPT-4-Version bleibt offen. Die Zahl 19 lässt sich daher als Mollicks öffentliche Behauptung bestätigen, aber nicht als unabhängig dokumentiertes Ergebnis eines reproduzierbaren Tests.

Lokale Inferenz verändert Kosten und den Weg der Nutzerdaten

Ein leistungsfähiges Modell auf dem Smartphone verringert die Abhängigkeit von Netzwerk und entfernter API. Für ein Produktteam kann das niedrigere Grenzkosten bei Routineaufgaben, schnellere Antworten und die Verarbeitung sensibler Eingaben ohne Übertragung an einen Cloudanbieter bedeuten. Dieser Effekt ist wichtiger als der symbolische Sieg über ein älteres Modell in einer Tabelle.

Zugleich verliert die Vorstellung eines besten Modells für jede Aufgabe an Gewicht. Ein mobiles Modell kann Klassifikation, Transkription oder kurze Assistenz übernehmen, während die Anwendung schwierigere Arbeit an ein größeres Modell weiterleitet. Der Vorteil liegt dann auch in Routing, Speicher und der Entscheidung, welche Daten auf dem Gerät bleiben.

Das Wort besser verbirgt Qualität, Geschwindigkeit, Speicher und Energie

Ein Benchmark kann Allgemeinwissen, Mathematik, Befolgung von Anweisungen oder eine andere schmale Fähigkeit messen. Ein Smartphone kann ein Modell technisch ausführen, obwohl Antwortzeit, Energiebedarf und Speicherverbrauch für eine Alltagsanwendung ungeeignet sind. Ohne diese Angaben zeigt die Zahl 19 keine insgesamt bessere Dienstleistung als GPT-4.

Auch die historische Dominanz von GPT-4 ist eine Bewertung und keine eindeutige technische Kategorie. Der Beitrag taugt als Bild für schnell sinkende Kosten von Fähigkeiten. Als Kaufempfehlung oder reproduzierbarer Benchmark reicht er noch nicht.

Anwendungen im Batteriebetrieb zählen mehr als eine weitere Tabelle

Ein überzeugendes nächstes Signal würde die Modelle nennen und Genauigkeit oder Punktzahl, Speicherbedarf, Tokens pro Sekunde sowie Energieverbrauch auf einem gewöhnlichen Smartphone ausweisen. Ebenso wichtig ist die Qualität nach der Quantisierung, denn die eingesetzte Variante bestimmt die tatsächliche Erfahrung.

Der Markt bestätigt den Wandel, sobald lokale Modelle zuverlässig Funktionen übernehmen, für die Anwendungen heute eine Cloud-API bezahlen. Bis dahin ist 19 ein nützlicher Wegweiser ohne Entfernungsangabe und Straßenzustand.

Liliths Urteil

Neunzehn Modelle auf einem Smartphone klingen nach einem Preissturz bei Fähigkeiten. Ohne den Namen des Benchmarks ist es ein Wegweiser, an dem jemand die Entfernungsangabe abgeschraubt hat.