Ging naar het lab van @DvijKalaria @berkeley_ai en speelde pingpong tegen zijn robot, Oreo. Ik had als kind veel pingpong gespeeld. Dit voelde op de juiste manier surrealistisch en een van die "ik wou dat ik mijn middelbare school zelf hierover kon vertellen" momenten. Tafeltennis is een van de moeilijkere sporten voor robots om te spelen. De bal kan tot 30+ mph bewegen met zware spin, de intentie van de menselijke tegenstander is verborgen, en het hele lichaam moet coördineren. Oreo is een volledige humanoïde die een echte paddle vasthoudt, en het leerde belangrijke bewegingen zoals slagen door Dvij te zien demonstreren. Geen robot-verzamelde trainingsdata. Eén persoon toont de beweging, het beleid generaliseert. De manier waarop het werkt, zoals ik het begreep: - Een slim systeem (een hiërarchische planner) bepaalt eerst waar de bal naartoe zal vliegen en kiest het beste type slag, zoals een forehand of backhand. - Dit plan helpt vervolgens om de "hersenen" van de robot (een RL-beleid) te trainen in een virtuele simulatie. De hersenen leren door middel van trial and error, en krijgen beloningen wanneer het een paar voorbeeldbewegingen nabootst. - Eenmaal getraind in de simulatie, wordt de hele opstelling toegepast op de daadwerkelijke fysieke robot zodat deze echt kan spelen. De menselijke demonstraties zijn in wezen de referentiebewegingen. Ze bouwen een robot die meer menselijke tafeltennis heeft bekeken dan welke mens dan ook, en gebruikt dat om zijn eigen spel te ontwikkelen. Ik heb nog steeds gewonnen. (Nauwelijks. Maar dat zal niet lang duren)

Volg het werk van Dvij hier: En bedankt @hananyss dat ik mee mocht doen!