Nejrychlejší MoE jádra MXFP8 na světě!
Stuart Sul
Stuart Sul20. 8. 06:07
Vrstvy MoE mohou být opravdu pomalé. Při trénování našich kódovacích modelů @cursor_ai zabraly 27–53 % času na trénování. Takže jsme ho kompletně předělali na úrovni jádra a přešli na MXFP8. Výsledek: 3,5x rychlejší vrstva MoE a 1,5x zrychlení tréninku typu end-to-end. Věříme, že náš tréninkový stack MXFP8 MoE je rychlejší než jakákoli dnes dostupná alternativa s otevřeným zdrojovým kódem. Více se dočtete zde:
8,37K