Ich erinnere mich, dass ich so beeindruckt war, als ich das Transformers-XL-Modell von Yang Zhilin als drittes Modell in der Transformers-Bibliothek Anfang 2019 hinzugefügt habe. Es überrascht mich nicht, dass er jetzt mit Moonshot AI verrückt beeindruckende Dinge liefert. Es ist eine lange Geschichte, die ich eines Tages erzählen sollte, aber auf eine Weise war dieses kleine Google-Team eines der ersten, das wirklich die Macht des Skalierens von Trainingsdaten verstand.