Vi RL'et humanoide roboter til Cristiano Ronaldo, LeBron James og Kobe Byrant! Dette er nevrale nett som kjører på ekte maskinvare på GEAR-laboratoriet vårt. De fleste robotdemoer du ser på nettet, øker hastigheten på videoer. Vi *bremser dem faktisk* slik at du kan nyte de flytende bevegelsene. Jeg er glad for å kunngjøre "ASAP", en "real2sim2real"-modell som mestrer ekstremt jevne og dynamiske bevegelser for humanoid helkroppskontroll. Vi forhåndstrener roboten i simulering først, men det er et beryktet "sim2real"-gap: det er veldig vanskelig for håndkonstruerte fysikkligninger å matche dynamikken i den virkelige verden. Løsningen vår er enkel: bare distribuer en forhåndstrent policy på ekte maskinvare, samle inn data og spill av bevegelsen på nytt i sim. Reprisen vil åpenbart ha mange feil, men det gir et rikt signal for å kompensere for fysikkavviket. Bruk et annet nevralt nett for å lære deltaet. I utgangspunktet "vi opp" en tradisjonell fysikkmotor, slik at roboten kan oppleve nesten den virkelige verden i stor skala i GPUer. Fremtiden er hybridsimulering: kombiner kraften til klassiske simmotorer som er utviklet gjennom flere tiår og den forbløffende evnen til moderne NN-er til å fange en rotete verden.