de fiecare dată când citiți un raport tehnic de la un model open-source SOTA care practic face de rușine 99% din modelele laboratoarelor occidentale (în afară de cele 2 de top absolute), se citește întotdeauna ca: "Da, practic am organizat date de foarte înaltă calitate, am generat cu atenție o mulțime de date [pentru că nu am fost întârziați], apoi am aplicat toate cele mai bune trucuri și lucruri pe care le-am văzut în ultimele 12 luni pentru infrastructură, post-antrenament etc și am venit cu unul sau două [pentru că avem gust / grijă]" numărul de companii din SUA care ar putea face acest lucru cu $$$ aruncat în jurul lor și niciuna dintre ele nu face așa ceva spune multe despre rezerva de talente din aceste companii
"Am folosit Muon ca optimizator, l-am modificat și ne-am petrecut tot timpul construind o conductă de generare și validare a datelor. Restul este specific # de calcul și infra specific + toate cele mai bune în clasele care cad din el" Waow
Vs "lucrăm la SuperIntelligence sigur și profitabil. AGI este aproape. Zilele inginerilor s-au încheiat. Angajarea a 500 de ingineri."
66,98K