Profesor Jiang tak to nazwał

poszedłem na spotkanie kodowania w Tokio. Jakoś gorszy stosunek niż w kryptowalutach. nie sądziłem, że to możliwe

M5 Max to zabawka za 3 500 dolarów tylko jedna liczba ma znaczenie dla lokalnej AI: tokeny/sek co tak naprawdę ma znaczenie dla wnioskowania LLM (w kolejności): przepustowość pamięci → określa tok/s VRAM/pamięć zintegrowana → określa rozmiar modelu obliczenia → mało istotne dla wnioskowania 25 tokenów/sek na 70B brzmi imponująco, dopóki nie zdasz sobie sprawy, że agentowa AI potrzebuje 100+, aby nie czuć się zepsutą M5 to świetny laptop, ale nie nadaje się na serwer