¿OpenAI ha logrado RL de episodios muy largos con este modelo experimental? Captura de pantalla del artículo de @natolambert sobre "Qué viene después con el aprendizaje por refuerzo". Nathan dice en este artículo: Donde los métodos actuales generan tokens de 10K-100K por respuesta para problemas matemáticos o de código durante el entrenamiento, el tipo de problemas a los que las personas discuten la aplicación del entrenamiento de RL de próxima generación serían de 1M-100M tokens por respuesta. Esto implica envolver varias llamadas de inferencia, mensajes e interacciones con un entorno dentro de un episodio en el que se actualiza la política. Tal vez este avance sea una combinación de ambos: RL de episodios muy largos y escalando TTC a 1M-100M tokens por respuesta!