Nós RL'amos robôs humanoides para Cristiano Ronaldo, LeBron James e Kobe Bryant! Estas são redes neurais rodando em hardware real no nosso laboratório GEAR. A maioria das demonstrações de robôs que você vê online acelera os vídeos. Nós realmente *os desaceleramos* para que você possa apreciar os movimentos fluidos. Estou animado para anunciar "ASAP", um modelo "real2sim2real" que domina movimentos extremamente suaves e dinâmicos para controle corporal total de humanoides. Nós pré-treinamos o robô em simulação primeiro, mas há uma notória lacuna "sim2real": é muito difícil para equações físicas projetadas à mão corresponderem à dinâmica do mundo real. Nossa solução é simples: basta implantar uma política pré-treinada em hardware real, coletar dados e reproduzir o movimento na simulação. A reprodução terá, obviamente, muitos erros, mas isso fornece um sinal rico para compensar a discrepância física. Use outra rede neural para aprender o delta. Basicamente, nós "consertamos" um motor físico tradicional, para que o robô possa experimentar quase o mundo real em escala nas GPUs. O futuro é simulação híbrida: combine o poder de motores de simulação clássicos refinados ao longo de décadas e a habilidade extraordinária das redes neurais modernas de capturar um mundo bagunçado.