Buen post de @balajis sobre la "brecha de verificación". Podrías verlo como si hubiera dos modos en la creación. Préstamo de la terminología de GAN: 1) generación y 2) Discriminación. Por ejemplo, pintar: haces una pincelada (1) y luego miras un rato para ver si mejoraste la pintura (2). Estas dos etapas se intercalan en casi todo el trabajo creativo. Segundo punto. La discriminación puede ser muy difícil desde el punto de vista computacional. - Las imágenes son, con mucho, las más fáciles. Por ejemplo, los equipos de generación de imágenes pueden crear cuadrículas gigantes de resultados para decidir si una imagen es mejor que la otra. gracias a la GPU gigante en tu cerebro construida para procesar imágenes muy rápido. - El texto es mucho más difícil. Es fácil de leer, pero hay que leerlo, es semántico, discreto y preciso, por lo que también hay que razonar (especialmente en el código, por ejemplo). - El audio es quizás aún más difícil en mi opinión, porque fuerza un eje de tiempo por lo que ni siquiera se puede hojear. Se ve obligado a gastar el proceso en serie y no puede paralelizarlo en absoluto. Se podría decir que en codificación los LLM se han colapsado (1) a ~instant, pero han hecho muy poco para abordar (2). Una persona todavía tiene que mirar los resultados y discriminar si son buenos. Esta es mi mayor crítica a la codificación de LLM en el sentido de que casualmente escupen *mucho* demasiado código por consulta a una complejidad arbitraria, fingiendo que no hay una etapa 2. Obtener tanto código es malo y aterrador. En cambio, el LLM tiene que trabajar activamente con usted para dividir los problemas en pequeños pasos incrementales, cada uno más fácilmente verificable. Tiene que anticipar el trabajo computacional de (2) y reducirlo tanto como sea posible. Tiene que importarle mucho. Esto me lleva probablemente al mayor malentendido que los no codificadores tienen sobre la codificación. Piensan que codificar consiste en escribir el código (1). No lo es. Se trata de mirar fijamente el código (2). Cargándolo todo en tu memoria de trabajo. Caminando de un lado a otro. Pensando en todos los casos extremos. Si me atrapas en un momento aleatorio mientras estoy "programando", probablemente solo esté mirando la pantalla y, si me interrumpen, realmente enojado porque es muy extenuante computacionalmente. Si solo obtenemos 1 mucho más rápido, pero no reducimos también 2 (¡que es la mayoría de las veces!), entonces claramente la velocidad general de codificación no mejorará (ver la ley de Amdahl).