Jusqu'à ce que l'art de l'ajustement fin des MoEs à un domaine soit entièrement distribué, je suis très heureux de voir Qwen continuer à publier des modèles denses. Il est crucial en ce moment d'avoir des modèles denses solides pour continuer à développer l'écosystème ouvert plus large.