Wir haben humanoide Roboter mit Cristiano Ronaldo, LeBron James und Kobe Bryant trainiert! Dies sind neuronale Netze, die auf echter Hardware in unserem GEAR-Labor laufen. Die meisten Roboter-Demos, die Sie online sehen, beschleunigen die Videos. Wir *verlangsamen sie tatsächlich*, damit Sie die flüssigen Bewegungen genießen können. Ich freue mich, "ASAP" anzukündigen, ein "real2sim2real"-Modell, das extrem flüssige und dynamische Bewegungen für die ganzheitliche Steuerung humanoider Körper beherrscht. Wir trainieren den Roboter zuerst in der Simulation, aber es gibt eine notorische "sim2real"-Lücke: Es ist sehr schwierig, dass handgefertigte physikalische Gleichungen mit den Dynamiken der realen Welt übereinstimmen. Unsere Lösung ist einfach: Setzen Sie eine vortrainierte Strategie auf echter Hardware ein, sammeln Sie Daten und spielen Sie die Bewegung in der Simulation ab. Die Wiedergabe wird offensichtlich viele Fehler aufweisen, aber das gibt ein reichhaltiges Signal, um die physikalische Diskrepanz auszugleichen. Verwenden Sie ein weiteres neuronales Netz, um das Delta zu lernen. Im Grunde "reparieren" wir eine traditionelle Physik-Engine, damit der Roboter die reale Welt im großen Maßstab auf GPUs erleben kann. Die Zukunft ist hybride Simulation: Kombinieren Sie die Leistung klassischer Simulations-Engines, die über Jahrzehnte verfeinert wurden, mit der unheimlichen Fähigkeit moderner neuronaler Netze, eine chaotische Welt zu erfassen.