🏎️ gemma-webgpu: uma Gemma 1B sem dependências, incrivelmente rápida, a correr inteiramente no seu navegador. Todo o vibe codificado a partir do meu telemóvel. 🔥 136,8 tok/s no M4 Mac (3,3x mais rápido que transformers.js) 📱 101 tok/s no iPhone 17 (270M), 34 tok/s (1B) O que construímos do zero: • 18 shaders de computação WGSL escritos à mão com operações fundidas (fusedNormAdd economiza 36 despachos de GPU por passagem para a frente) • Dequantização Q8_0 diretamente na GPU — qualidade superior à q4 E mais rápida • Carregamentos de streaming de pedidos de intervalo de pesos camada por camada (~44MB por pedaço), faz upload para a GPU, liberta a memória JS imediatamente. Pico de heap: ~50MB mesmo para o modelo de 1GB • Esse truque de streaming é o que faz o 1B funcionar no iPhone. nunca mantém o modelo completo na RAM 12KB comprimido. Zero dependências. npm install gemma-webgpu

Imagine que a Apple vendeu computadores ou iPads ao DOD e tentou dizer ao Pentágono quais missões poderiam ser planeadas nos seus computadores.