¿Se tratan los sistemas de recomendación modernos como un problema de aprendizaje por refuerzo, con una suma de recompensas futuras descontadas, o como transacciones estrictamente de un solo paso? Muchos productos realizan un análisis de datos significativo fuera de línea sobre las acciones tomadas para informar cambios, pero parece que se subestima cuán poderoso es hacer cambios de política en un conjunto en vivo, masivamente paralelo de entornos/usuarios independientes. El aprendizaje por refuerzo fuera de línea es fundamentalmente más difícil que el aprendizaje por refuerzo en línea: debes protegerte contra la creación de una fantasía optimista no probada por la realidad.