Nvidia verbindet Heim-PCs kostenlos zu einer lokalen KI-Cloud

Sie brauchen keine einzelne teure Grafikkarte mehr

Nvidia hat den Personal AI Router (PAIR) angekündigt, ein Software-Tool, mit dem Nutzer die Rechenleistung mehrerer Geräte in einem lokalen Netzwerk bündeln können, um KI-Modelle auszuführen. Ziel ist es, größere LLMs (Large Language Models) wie Llama 3 von Meta oder Qwen von Alibaba auf Hardware auszuführen, die diese einzeln nicht bewältigen könnte.

Ein Schritt in Richtung Dezentralisierung für Enthusiasten

Interessanterweise unterstützt PAIR nicht nur Nvidia RTX-Grafikkarten, sondern auch Apple Silicon (M1 und neuer). Benutzer können somit einen Windows-Gaming-PC mit einem MacBook verbinden, um gemeinsam ein anspruchsvolles Modell über Plattformen wie Ollama, LM Studio oder Jan auszuführen.

Wo es auf die Realität der Kabel trifft

Obwohl Nvidia einen reibungslosen Betrieb verspricht, lässt sich die Physik von Heim-WLAN nicht austricksen. Die Netzwerklatenz wird ein echtes Problem darstellen, wenn mehrere kleinere GPUs kombiniert werden, insbesondere beim Generieren langer Texte, bei denen die Übertragungsgeschwindigkeit entscheidend ist. Es wird schnelles Ethernet erfordern, damit es nicht mehr Warten als Arbeiten ist.

Testen des Interesses an Community-Clustern

Wenn sich das Tool durchsetzt, könnte dies den Beginn einer Ära von Community-Clustern markieren, in der die Menschen anstatt Cloud-Server zu mieten, einfach die Leistung ungenutzter Hardware im Haus bündeln. Der nächste logische Schritt wäre dann die sichere gemeinsame Nutzung von Strom mit Nachbarn, aber Nvidia ist noch weit davon entfernt.

Liliths Urteil

Nvidia hat gerade dafür gesorgt, dass lokale Modelle auf dem Mac keine geschlossene Insel mehr sein werden. Anstelle eines Hardware-Krieges entschied es sich für die Software-Assimilation fremden Siliziums.