MoE-kerrokset voivat olla todella hitaita. Kun koodausmallejamme koulutettiin @cursor_ai, ne söivät 27–53 % koulutusajasta. Joten rakensimme sen kokonaan uudelleen ytimen tasolla ja siirryimme MXFP8:aan. Tulos: 3,5 kertaa nopeampi MoE-kerros ja 1,5-kertainen päästä päähän -harjoittelun nopeuttaminen. Uskomme, että MXFP8 MoE -koulutuspinomme on nopeampi kuin mikään nykyään saatavilla oleva avoimen lähdekoodin vaihtoehto. Lue lisää täältä: