Pamiętam, jak byłem pod wrażeniem, gdy dodałem model transformers XL Yang Zhilina jako trzeci model w bibliotece transformers na początku 2019 roku. Nie zdziwiło mnie, że teraz dostarcza niesamowite rzeczy z Moonshot AI. To długa historia, którą powinienem opowiedzieć pewnego dnia, ale w pewnym sensie ten mały zespół Google był jednym z pierwszych, który naprawdę zrozumiał moc skalowania danych treningowych.