Çok inanılmaz. @nsthorat, tanıdığım en iyi mühendislerden biri ve yetenekli insanların kendi adlarına çalışan ajanlarla neler yapabildiği inanılmaz. Dünyada çok daha havalı şeyler olacak
🏎️ gemma-webgpu: tamamen tarayıcınızda çalışan, sıfır bağımlılıklı, inanılmaz hızlı bir Gemma 1B. Tam titreme telefonumdan kodlandı.
🔥 M4 Mac'te 136.8 tok/s (transformers.js'den 3.3 kat hızlı)
📱 iPhone 17'de 101 tok/s (270M), 34 tok/s (1B)
Sıfırdan inşa ettiklerimiz:
• 18 el yazısıyla yazılmış WGSL hesaplama shaderı, birleşmiş ops'a sahip (fusedNormAdd her ileri geçişte 36 GPU göndermesi kaydeder)
• GPU'da doğrudan dekuantizasyon Q8_0 — Q4'ten daha kaliteli VE daha hızlı.
• Aralık isteği akışı yüklemeleri katman katman ağırlık (~44MB chunk) yükler, GPU'ya yüklemeler yapar, JS belleği hemen boşalır. Pik yığını: 1GB model için bile ~50MB
• Bu yayın numarası, 1B'nin iPhone'da çalışmasını sağlayan şeydir. RAM'de tam modeli asla tutmaz.
12KB gzip yaptı. Sıfır bağımlılık yok. NPM Gemma-WebGPU Install
Basit: Anthropic, her şirket gibi, ne yapacağına karar verme hakkına sahiptir. Hükümetin de bu kişilerle çalışıp çalışmama hakkı var. Durumun kötüleşmesi, hükümetin onları bir şey yapmadıkları için tehdit etmesi, bu da çılgınlaşan nokta ise hükümetin bunu yerine getirmesi
Hükümetin, Apple'ı tüm cihazlarına NSA arka kapıları eklemeye zorlamaya çalışarak, hükümetle iş yapan herkesin Mac kullanmasını yasadışı hale getirmekle tehdit ettiğini hayal edin.