Verdens raskeste MXFP8 MoE-kjerner!
Stuart Sul
Stuart Sul20. aug., 06:07
MoE-lag kan være veldig trege. Når vi trener kodemodellene våre @cursor_ai, spiste de opp 27–53 % av treningstiden. Så vi bygde den fullstendig om på kjernenivå og gikk over til MXFP8. Resultatet: 3,5 ganger raskere MoE-lag og 1,5 ganger ende-til-ende treningshastighet. Vi tror at MXFP8 MoE-treningsstabelen vår er raskere enn noe åpen kildekode-alternativ som er tilgjengelig i dag. Les mer her:
8,48K