We hebben humanoïde robots gekoppeld aan Cristiano Ronaldo, LeBron James en Kobe Bryant! Dit zijn neurale netwerken die draaien op echte hardware in ons GEAR-lab. De meeste robotdemonstraties die je online ziet, versnellen video's. Wij *vertragen ze* zodat je kunt genieten van de vloeiende bewegingen. Ik ben enthousiast om "ASAP" aan te kondigen, een "real2sim2real" model dat extreem soepele en dynamische bewegingen voor volledige lichaamscontrole van humanoïden beheerst. We trainen de robot eerst in simulatie, maar er is een beruchte "sim2real" kloof: het is erg moeilijk voor hand-geconfigureerde fysica-vergelijkingen om overeen te komen met de dynamiek van de echte wereld. Onze oplossing is eenvoudig: implementeer gewoon een voorgetrainde policy op echte hardware, verzamel gegevens en speel de beweging in de simulatie opnieuw af. De herhaling zal uiteraard veel fouten bevatten, maar dat geeft een rijke signalen om de fysica-afwijking te compenseren. Gebruik een ander neuraal netwerk om de delta te leren. In wezen "repareren" we een traditionele fysica-engine, zodat de robot bijna de echte wereld op schaal kan ervaren in GPU's. De toekomst is hybride simulatie: combineer de kracht van klassieke simulatie-engines die door de jaren heen zijn verfijnd met het ongewone vermogen van moderne neurale netwerken om een rommelige wereld vast te leggen.