Les couches MoE peuvent être vraiment lentes. Lors de l'entraînement de nos modèles de codage @cursor_ai, elles ont consommé 27 à 53 % du temps d'entraînement. Nous l'avons donc complètement reconstruit au niveau du noyau et avons transitionné vers MXFP8. Le résultat : une couche MoE 3,5 fois plus rapide et un gain de vitesse d'entraînement de bout en bout de 1,5 fois. Nous croyons que notre pile d'entraînement MoE MXFP8 est plus rapide que toute alternative open-source disponible aujourd'hui. Lisez-en plus ici :