Nous avons RL'isé des robots humanoïdes sur Cristiano Ronaldo, LeBron James et Kobe Bryant ! Ce sont des réseaux neuronaux fonctionnant sur du matériel réel dans notre laboratoire GEAR. La plupart des démonstrations de robots que vous voyez en ligne accélèrent les vidéos. Nous *les ralentissons* réellement pour que vous puissiez apprécier les mouvements fluides. Je suis ravi d'annoncer "ASAP", un modèle "real2sim2real" qui maîtrise des mouvements extrêmement fluides et dynamiques pour le contrôle intégral du corps humanoïde. Nous pré-entraînons le robot en simulation d'abord, mais il existe un écart notoire "sim2real" : il est très difficile pour des équations physiques conçues à la main de correspondre à la dynamique du monde réel. Notre solution est simple : déployez simplement une politique pré-entraînée sur du matériel réel, collectez des données et rejouez le mouvement en simulation. La relecture aura évidemment de nombreuses erreurs, mais cela fournit un signal riche pour compenser la différence physique. Utilisez un autre réseau neuronal pour apprendre le delta. En gros, nous "réparons" un moteur physique traditionnel, afin que le robot puisse vivre presque le monde réel à grande échelle sur des GPU. L'avenir est la simulation hybride : combinez la puissance des moteurs de simulation classiques perfectionnés au fil des décennies et l'incroyable capacité des réseaux neuronaux modernes à capturer un monde chaotique.