Fui al laboratorio de @DvijKalaria en @berkeley_ai y jugué al ping pong contra su robot, Oreo. Había jugado mucho al ping pong de niño. Esto se sintió apropiadamente surrealista y uno de esos momentos de "desearía poder contarle a mi yo de la secundaria sobre esto". El tenis de mesa es uno de los deportes más difíciles para que los robots jueguen. La pelota puede moverse a más de 30 mph con un giro fuerte, la intención del oponente humano está oculta y todo el cuerpo tiene que coordinarse. Oreo es un humanoide completo que sostiene una pala real, y aprendió movimientos clave como los swings al observar a Dvij demostrar. No se usaron datos de entrenamiento recopilados por robots. Una persona muestra el movimiento, la política se generaliza. La forma en que funciona, según entendí: - Un sistema inteligente (un planificador jerárquico) primero determina hacia dónde va a volar la pelota y elige el mejor tipo de golpe, como un swing de derecha o de revés. - Este plan luego ayuda a entrenar el "cerebro" del robot (una política de RL) en una simulación virtual. El cerebro aprende por prueba y error, obteniendo recompensas cuando imita algunos movimientos de ejemplo. - Una vez entrenado en la simulación, todo el conjunto se aplica al robot físico real para que pueda jugar de verdad. Las demostraciones humanas son esencialmente los movimientos de referencia. Están construyendo un robot que ha visto más tenis de mesa humano que cualquier humano, y usa eso para desarrollar su propio juego. Aún gané. (Apenas. Pero eso no durará)

Sigue el trabajo de Dvij aquí: ¡Y gracias @hananyss por dejarme acompañar!