私たちは最近、Covenant-72Bをリリースしました。これは、インターネット上で許可不要の参加が可能な、史上最大の分散型事前トレーニングランです。 特に、SparseLoCoが72Bにこれほどクリーンにスケーリングされるのを見るのは嬉しいことです。>146×圧縮、動的参加や悪意ある行為者に対する堅牢性、そしてより大きなトークン予算で訓練された中央集権的なベースラインと競合するパフォーマンスを備えています。