Världens snabbaste MXFP8 MoE-kärnor!
Stuart Sul
Stuart Sul20 aug. 06:07
MoE-lager kan vara riktigt långsamma. När våra kodningsmodeller @cursor_ai åt de upp 27–53 % av träningstiden. Så vi byggde om det helt och hållet på kärnnivå och gick över till MXFP8. Resultatet: 3,5 gånger snabbare MoE-lager och 1,5 gånger snabbare träning från början till slut. Vi tror att vår MXFP8 MoE-träningsstack är snabbare än något alternativ med öppen källkod som finns tillgängligt idag. Läs mer här:
8,48K