Chúng tôi đã RL hóa các robot hình người theo Cristiano Ronaldo, LeBron James và Kobe Bryant! Đây là các mạng nơ-ron chạy trên phần cứng thực tại phòng thí nghiệm GEAR của chúng tôi. Hầu hết các video demo robot bạn thấy trực tuyến đều tăng tốc video lên. Chúng tôi thực sự *làm chậm lại* để bạn có thể thưởng thức những chuyển động mượt mà. Tôi rất vui mừng thông báo "ASAP", một mô hình "real2sim2real" mà thành thạo những chuyển động cực kỳ mượt mà và năng động cho việc điều khiển toàn bộ cơ thể robot hình người. Chúng tôi huấn luyện trước robot trong mô phỏng trước, nhưng có một khoảng cách "sim2real" nổi tiếng: rất khó để các phương trình vật lý được thiết kế bằng tay khớp với động lực thực tế. Cách khắc phục của chúng tôi rất đơn giản: chỉ cần triển khai một chính sách đã được huấn luyện trước trên phần cứng thực, thu thập dữ liệu và phát lại chuyển động trong mô phỏng. Việc phát lại sẽ rõ ràng có nhiều lỗi, nhưng điều đó cung cấp một tín hiệu phong phú để bù đắp cho sự khác biệt về vật lý. Sử dụng một mạng nơ-ron khác để học delta. Về cơ bản, chúng tôi "vá" một động cơ vật lý truyền thống, để robot có thể trải nghiệm gần như thế giới thực ở quy mô trên GPU. Tương lai là mô phỏng lai: kết hợp sức mạnh của các động cơ mô phỏng cổ điển được tinh chỉnh qua nhiều thập kỷ và khả năng kỳ lạ của các mạng nơ-ron hiện đại để nắm bắt một thế giới hỗn độn.