"Qwen3-Coder-Next-8bitin EXO-vertailuanalyysi M3 Ultralla" 1. Ydindata: M3 Ultra (512GB RAM) hajautettu päättelylaitteisto • Yksisolmu: Apple M3 Ultra 512GB RAM (32 CPU-ydintä, 80 GPU-ydintä) • Kaksoissolmu: 2 × M3 Ultra (1024GB RAM-aggregaatio) • Malli: Qwen3-Coder-Next-8bit (8B-parametrit, kvantisoitu versio) Suorituskykymittarit (tokenit/s)

II. Keskeiset viestit: 1. Kehotteiden käsittely laajenee lineaarisesti solmujen määrän mukaan • 0,5K-8K konteksti: Yksittäisen solmun huiput (60 t/s), kaksoissolmujen laskut (-3 %) • Syy: Hajautetun viestinnän ylikuorma > laskennan kiihdytyshyödyt • Yhteenveto: Pieniä konteksteja ei tarvitse jakaa • 16K-64K konteksti: Kaksoissolmut alkavat hyötyä (+2 % – +6 %) • Syy: KV-välimuisti vaatii enemmän muistia, yksittäisen solmun pullonkaula • Johtopäätös: Laaja-alainen hajautettu päättely on arvokasta 2. Sukupolven suorituskykytrendit • Pieni malli (8B) + pieni konteksti (<32K): Generointi on hitaampaa • Laaja konteksti (≥32K): Suorituskyky alkaa parantaa keskeisiä oivalluksia • Syy: 8B-mallissa laskentapaine on alhainen, ja pullonkaula on muistikaistanleveydessä ja KV-välimuistissa 3. /bench API • Tavallinen OpenAI-päätelaite: välimuisti on oletuksena käytössä, mikä johtaa virheellisiin testituloksiin • /bench API: Ei suoratoistoa, palauta palvelimen mittaustilastot (tarkkoja) • Keskeiset havainnot: Hajautettu päättely on testattava /bench-lomakkeella, muuten data on virheellinen

III. Vertaa Qwen3.5-35B:hen

4. Tekninen johtopäätös Arvovälit hajautetussa päättelyssä • Pieni konteksti (<8K): Yksisolmu on optimaalinen, mutta kaksoissolmujen määrä vähenee (viestintäkuorma) • Suuri konteksti (≥32K): Kaksisolmut alkavat hyötyä, +6 % kasvu 64K:ssa • 128K+ konteksti: Vaatii useita solmuja (kohtasin ongelman, että 1115KB juoruviestit ovat liian suuria testissä) Qwen3-Coder-Next-8bit vs Qwen3.5-35B:

5. EXO:n pullonkaula • 128K kontekstitesti epäonnistui: gossipsub-viesti on liian suuri (1115KB), ja solmu täytyy käynnistää uudelleen • Ongelma: Verkkokerros rajoittaa hajautetun päättelyn skaalautuvuutta • Resoluutio: Viestien sharding täytyy optimoida tai käyttää toista viestintäprotokollaa

6. Taloudellisten mallien vertailu Vaihtoehto A: M3 Ultra 512GB (yksisolmu) • Hinta: $2000-3000 • Suorituskyky: 60 t/s (<8K) → 48 t/s (64K) • Sovellettavissa: Suuri konteksti (≥32K), yksittäinen solmu riittää Skenaario B: M3 Ultra × 2 (Kaksoissolmu) • Hinta: 4000–6000 dollaria • Suorituskyky: 59-51 t/s (+6 % verrattuna yksittäiseen solmuun, 64K vain kontekstissa) • Sovellettavissa: Erittäin suuri konteksti (≥128K) ja riittämätön muisti yhdellä solmulla Skenaario C: RTX 3090 (yksittäinen kortti) • Hinta: 800–1000 dollaria (käytetty) • Suorituskyky: 112 t/s (kiinteä, Qwen3.5-35B) • Sopiva: pieni konteksti (<64K), taloudellisesti kannattavaa

VII. 📌 Keskeiset johtopäätökset 1. Qwen3-Coder-Next-8bit sopii laajaan kontekstiin (≥32K) hajautettuun päättelyyn Hyödyt: Skaalautuva äärettömään kontekstiin (monisolmuinen aggregaattimuisti) Haitat: Pieni kontekstisuorituskyky ei ole yhtä hyvä kuin yksikorttinäytönohjaimilla, ja ROI-sykli on pitkä 2. Qwen3.5-35B (RTX 3090) sopii pienessä kontekstissa (<64K) taloudelliseen päättelyyn Edut: 112 t/s korkea suorituskyky, ROI takaisinmaksu 6 kuukaudessa Haitat: Yhden kortin rajoitus (24GB VRAM), sitä ei voi laajentaa 128K+:aan 3. EXO:n hajautetussa ajattelussa on edelleen pullonkauloja Ongelma: Gossipsub-viesti on liian suuri (1115KB) ja solmu täytyy käynnistää uudelleen Ratkaisu: Optimoi verkkokerros tai vaihda toiseen viestintäprotokollaan

VIII. Sijoitusprioriteettien vertailu Mac Studio M5:n (M5 Ultra -piiri) odotetaan julkaistavan maaliskuussa-kesäkuussa 2026. Suorituskyvyn osalta verrattuna M3 Ultraan M5 Ultran prompt-prosessointi (TTFT) voidaan nopeuttaa 2–4-kertaiseksi, ja generointinopeus (tokenit/s) kasvaa noin 20–30 % (muistin kaistanleveys kasvaa 800GB/s:stä korkeammalle tasolle, yhdistettynä Neural Acceleratoriin jokaiselle GPU-ytimelle). Qwen-mallin kaltaisissa kvantisoiduissa versioissa M5 Ultra voi tukea suurempia konteksteja (64K+ tokeneita) saavuttaakseen suuremman läpäisykyvyn testeissä (esim. suuret MoE-mallit jopa 150+ tok/s asti). Koska laitteistokustannukset ovat samankaltaiset (noin 4 000 dollaria lisäys), mutta suorituskyky on parantunut, ROI:n odotetaan lyhentävän 8–12 kuukauteen, mikä sopii intensiivisiin tekoälyn kehitysskenaarioihin ja jolla on korkeampi suositusindeksi.