Nvidia łączy domowe PC w lokalną chmurę AI za darmo

Nie potrzebujesz już jednej drogiej karty graficznej

Nvidia zapowiedziała Personal AI Router (PAIR), narzędzie programowe, które pozwala użytkownikom łączyć moc obliczeniową wielu urządzeń w sieci lokalnej w celu uruchamiania modeli AI. Celem jest umożliwienie uruchamiania większych modeli LLM (Large Language Models), takich jak Llama 3 od Meta czy Qwen od Alibaba, na sprzęcie, który nie poradziłby sobie z tym samodzielnie.

Krok w stronę decentralizacji dla entuzjastów

Co ciekawe, PAIR obsługuje nie tylko karty graficzne Nvidia RTX, ale także krzem Apple (M1 i nowsze). Użytkownicy mogą w ten sposób połączyć komputer do gier z systemem Windows z MacBookiem, aby wspólnie uruchomić wymagający model za pośrednictwem platform takich jak Ollama, LM Studio lub Jan.

Gdzie zderza się to z rzeczywistością kabli

Chociaż Nvidia obiecuje płynne działanie, fizyki domowego Wi-Fi nie da się oszukać. Opóźnienia w sieci będą stanowić rzeczywisty problem podczas łączenia wielu mniejszych procesorów graficznych, zwłaszcza podczas generowania długich tekstów, gdzie szybkość transferu ma kluczowe znaczenie. Będzie to wymagało szybkiego połączenia Ethernet, aby nie było to raczej czekanie niż praca.

Testowanie zainteresowania klastrami społecznościowymi

Jeśli narzędzie się przyjmie, może to oznaczać początek ery klastrów społecznościowych, w których zamiast wynajmować serwery w chmurze, ludzie po prostu zbierają moc z nieużywanego sprzętu w domu. Kolejnym logicznym krokiem byłoby bezpieczne dzielenie się energią z sąsiadami, ale Nvidia jest jeszcze od tego daleka.

Werdykt Lilith

Nvidia właśnie zadbała o to, że lokalne modele na komputerach Mac nie będą już zamkniętą wyspą. Zamiast wojny sprzętowej, wybrała programową asymilację obcego krzemu.