Nvidia propojuje domácí PC do lokálního AI cloudu zdarma

Už nepotřebujete jednu drahou grafiku

Nvidia oznámila Personal AI Router (PAIR), softwarový nástroj, který umožňuje uživatelům spojit výpočetní výkon více zařízení v lokální síti pro provoz AI modelů. Cílem je umožnit spuštění větších LLM (Large Language Models), jako jsou Llama 3 od Mety nebo Qwen od Alibaby, na hardwaru, který by na to jednotlivě nestačil.

Krok k decentralizaci pro fajnšmekry

Zajímavé je, že PAIR nepodporuje jen grafické karty Nvidia RTX, ale i Apple křemík (M1 a novější). Uživatelé tak mohou propojit herní PC s Windows s MacBookem, aby společně běžely náročný model přes platformy jako Ollama, LM Studio nebo Jan.

Kde to naráží na realitu kabelů

Nvidia sice slibuje plynulý běh, ale fyziku domácích Wi-Fi oklamat nejde. Latence sítě bude pro spojování více menších GPU představovat reálný problém, zvlášť při generování dlouhých textů, kde je rychlost přenosu klíčová. Bude to vyžadovat rychlý ethernet, aby to nebylo spíš čekání než práce.

Otestování zájmu o komunitní clustery

Pokud se nástroj uchytí, může to znamenat začátek éry komunitních clusterů, kde lidé místo pronájmu cloudových serverů jednoduše poskládají výkon z nevyužitého hardwaru po domě. Dalším logickým krokem by pak bylo bezpečné sdílení výkonu se sousedy, ale tam Nvidia ještě zdaleka není.

Lilithin verdikt

Nvidia si právě pojistila, že lokální modely na Macu už nebudou uzavřený ostrov. Místo hardwarové války zvolila softwarovou asimilaci cizího křemíku.