Kami baru saja merilis Covenant-72B: pra-pelatihan terdesentralisasi terbesar yang pernah ada, dengan partisipasi tanpa izin melalui internet. Sangat menarik untuk melihat SparseLoCo menskalakan dengan begitu bersih ke 72B — dengan kompresi >146×, ketahanan di bawah partisipasi dinamis dan aktor jahat, dan kinerja yang kompetitif dengan baseline terpusat yang dilatih pada anggaran token yang lebih besar.