elke keer dat je een techrapport leest van een SOTA open-source model dat in wezen 99% van de modellen van westerse laboratoria te schande maakt (behalve de absolute top 2), leest het altijd als: "ja, we hebben in wezen zeer hoogwaardige data gecureerd, zorgvuldig veel data gegenereerd [omdat we niet achterlijk zijn], en toen hebben we al de beste trucs en dingen die we in de afgelopen 12 maanden voor infra, post-training enz. hebben gezien toegepast en kwamen we met een of twee [omdat we smaak hebben / geven om]" toegang tot het aantal bedrijven in de VS die dit zouden kunnen doen met de $$$ die naar hen worden gegooid en geen van hen echt iets als dit doet, vertelt je veel over de talentpool in deze bedrijven.

"we hebben Muon gebruikt als optimizer, het aangepast, en al onze tijd besteed aan het bouwen van een data-generatie- en validatiepipeline. De rest is specifiek voor ons aantal compute en specifieke infrastructuur + alle beste in hun klasse die daaruit voortkomen" waow

vs "we werken aan veilige en winstgevende SuperIntelligentie. AGI is dichtbij. De dagen van ingenieurs zijn voorbij. We zijn op zoek naar 500 ingenieurs."