Recuerdo haberme quedado tan impresionado cuando añadí el modelo transformers XL de Yang Zhilin como el tercer modelo en la biblioteca de transformers a principios de 2019. No me sorprende que ahora esté enviando cosas increíblemente impresionantes con Moonshot AI. Es una larga historia que debería contar algún día, pero de alguna manera, este pequeño equipo de Google fue uno de los primeros en entender realmente el poder de escalar los datos de entrenamiento.