Empaqueté el proyecto de "autoinvestigación" en un nuevo repositorio mínimo autónomo por si la gente quiere jugar el fin de semana. Básicamente es un núcleo de entrenamiento de LLM nanochat reducido a una sola GPU y un solo archivo de ~630 líneas de código, y luego: - el humano itera en el prompt (.md) - el agente de IA itera sobre el código de entrenamiento (.py) El objetivo es diseñar a tus agentes para que avancen la investigación más rápido de forma indefinida y sin ninguna de tus propias intervenciones. En la imagen, cada punto es una partida completa de entrenamiento LLM que dura exactamente 5 minutos. El agente trabaja en un bucle autónomo en una rama de características git y acumula commits git en el script de entrenamiento a medida que encuentra mejores configuraciones (de menor pérdida de validación al final) de la arquitectura de la red neuronal, el optimizador, todos los hiperparámetros, etc. Puedes imaginarte comparando el progreso de la investigación de diferentes prompts, distintos agentes, etc. Parte código, parte ciencia ficción y un toque de psicosis :)

Tuve la misma idea, así que he estado probándolo en nanochat. Por ejemplo, aquí hay 8 agentes (4 claude, 4 códex), con 1 GPU cada uno ejecutando experimentos nanochat (intentando eliminar el softcap de logit sin regresión). El resumen es que no funciona y es un desastre... Pero sigue siendo muy bonito de ver :) Probé varias configuraciones: 8 investigadores independientes en solitario, 1 científico jefe dando trabajo a 8 investigadores junior, etc. Cada programa de investigación es una rama git, cada científico lo bifurca en una rama de funcionalidad, árboles de trabajo git para aislamiento, archivos simples para comunicaciones, salta Docker/VMs por simplicidad ahora mismo (encuentro que las instrucciones son suficientes para evitar interferencias). La organización de investigación funciona en cuadrículas de ventanas tmux de sesiones interactivas (como Teams) para que sea bonito de ver, ver su trabajo individual y "tomar el control" si es necesario, es decir, sin -p. Pero vale, la razón por la que no funciona hasta ahora es que las ideas de los agentes son bastante malas desde el principio, incluso con la inteligencia más alta. No piensan cuidadosamente en el diseño de los experimentos, ejecutan variaciones un poco absurdas, no crean líneas base fuertes ni ablacionan las cosas correctamente, no controlan cuidadosamente el tiempo de ejecución o los flops. (Por ejemplo, ayer un agente "descubrió" que aumentar el tamaño oculto de la red mejora la pérdida de validación, lo cual es un resultado totalmente innecesario dado que una red más grande tendrá una pérdida de validación menor en el régimen de datos infinitos, pero además entrena mucho más tiempo, no está claro por qué tuve que intervenir para señalarlo). Son muy buenos implementando cualquier idea bien definida y descrita, pero no la generan creativamente. Pero el objetivo es que ahora estés programando una organización (por ejemplo, una "organización de investigación") y sus agentes individuales, así que el "código fuente" es la colección de prompts, habilidades, herramientas, etc. y procesos que lo componen. Por ejemplo, una reunión diaria de pie por la mañana ahora forma parte del "código de organización". Y optimizar el preentrenamiento de nanochat es solo una de las muchas tareas (casi como una evaluación). Entonces, dada una tarea arbitraria, ¿qué tan rápido genera progresos en ella tu organización de investigación?