Sono andato nel laboratorio di @DvijKalaria @berkeley_ai e ho giocato a ping pong contro il suo robot, Oreo. Da bambino avevo giocato tantissimo a ping pong. Questo è stato appropriatamente surreale e uno di quei momenti "vorrei poter raccontare a me stesso del liceo di questo". Il tennis da tavolo è uno degli sport più difficili per i robot. La palla può muoversi a oltre 30 mph con un forte spin, l'intento dell'avversario umano è nascosto e tutto il corpo deve coordinarsi. Oreo è un umanoide completo che tiene una vera racchetta, e ha imparato i movimenti chiave come i colpi osservando Dvij dimostrare. Nessun dato di addestramento raccolto dal robot. Una persona mostra il movimento, la politica generalizza. Il modo in cui funziona, come l'ho capito: - Un sistema intelligente (un pianificatore gerarchico) prima capisce dove volerà la palla e sceglie il miglior tipo di colpo, come un colpo di dritto o di rovescio. - Questo piano aiuta poi ad addestrare il "cervello" del robot (una politica di RL) in una simulazione virtuale. Il cervello impara per tentativi ed errori, ricevendo ricompense quando imita alcuni movimenti di esempio. - Una volta addestrato nella simulazione, l'intero setup viene applicato al robot fisico reale in modo che possa giocare per davvero. Le dimostrazioni umane sono essenzialmente i movimenti di riferimento. Stanno costruendo un robot che ha visto più tennis da tavolo umano di quanto qualsiasi umano abbia visto, e usa questo per sviluppare il proprio gioco. Ho comunque vinto. (Appena. Ma non durerà.)

Segui il lavoro di Dvij qui: E grazie a @hananyss per avermi lasciato partecipare!