Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Andy Coenen
Tak neuvěřitelné. @nsthorat je jeden z nejlepších inženýrů, které znám, a je neuvěřitelné, co dokážou talentovaní lidé, když agenti pracují za ně. Brzy budeme mít na světě mnohem víc skvělých věcí
14. 3. 00:47
🏎️ gemma-webgpu: bezzávislostní, bleskově rychlá Gemma 1B běžící zcela ve vašem prohlížeči. Plný vibrátor zakódovaný z mého mobilu.
🔥 136,8 tok/s na M4 Macu (3,3x rychlejší než transformers.js)
📱 101 tok/s na iPhonu 17 (270M), 34 tok/s (1B)
Co jsme postavili od základu:
• 18 ručně psaných WGSL výpočetních shaderů s fúzními operacemi (fusedNormAdd ušetří 36 GPU výstupů na jeden forward pass)
• Q8_0 dekvantizace přímo na GPU — vyšší kvalita než q4 A rychlejší
• Range request loading loading váhuje vrstvu po vrstvě (~44MB chunků), nahrává se na GPU, okamžitě uvolňuje JS paměť. Maximální halda: ~50MB i pro model s 1GB
• Tento trik se streamováním je důvod, proč 1B běží na iPhonu. nikdy neobsahuje celý model v RAM
12KB se zkrátilo. Žádné závislosti. npm install gemma-webgpu
69
Představte si, že by vláda zkusila donutit Apple přidat zadní vrátka NSA na všechna svá zařízení tím, že by hrozila, že bude zakázáno používat Macy komukoli, kdo s vládou obchoduje.
28. 2. 2026
Představte si, že Apple prodává počítače nebo iPady ministerstvu obrany a snaží se Pentagonu říct, jaké mise lze na jejich počítačích plánovat.
306
Top
Hodnocení
Oblíbené