¡Hemos RL'd robots humanoides a Cristiano Ronaldo, LeBron James y Kobe Bryant! Estas son redes neuronales que funcionan en hardware real en nuestro laboratorio GEAR. La mayoría de las demostraciones de robots que ves en línea aceleran los videos. Nosotros en realidad *los ralentizamos* para que puedas disfrutar de los movimientos fluidos. Estoy emocionado de anunciar "ASAP", un modelo "real2sim2real" que domina movimientos extremadamente suaves y dinámicos para el control corporal completo de humanoides. Preentrenamos al robot en simulación primero, pero hay una notoria brecha "sim2real": es muy difícil que las ecuaciones físicas diseñadas a mano coincidan con la dinámica del mundo real. Nuestra solución es simple: solo despliega una política preentrenada en hardware real, recopila datos y reproduce el movimiento en simulación. La reproducción obviamente tendrá muchos errores, pero eso proporciona una señal rica para compensar la discrepancia física. Usa otra red neuronal para aprender el delta. Básicamente, "parcheamos" un motor físico tradicional, para que el robot pueda experimentar casi el mundo real a gran escala en GPUs. El futuro es la simulación híbrida: combina el poder de los motores de simulación clásicos refinados a lo largo de décadas y la asombrosa capacidad de las redes neuronales modernas para capturar un mundo desordenado.