Je me souviens d'avoir été tellement impressionné lorsque j'ai ajouté le modèle transformers XL de Yang Zhilin comme le troisième modèle dans la bibliothèque transformers au début de 2019. Je ne suis pas surpris qu'il expédie maintenant des choses incroyablement impressionnantes avec Moonshot AI. C'est une longue histoire que je devrais raconter un jour, mais d'une certaine manière, cette petite équipe de Google faisait partie des premières à vraiment comprendre le pouvoir de l'augmentation des données d'entraînement.