Bom post de @balajis sobre a "lacuna de verificação". Você pode vê-lo como existindo dois modos na criação. Tomando emprestada a terminologia do GAN: 1) geração e 2) discriminação. por exemplo, pintura - você faz uma pincelada (1) e depois você olha por um tempo para ver se você melhorou a pintura (2). Estas duas fases estão intercaladas em praticamente todo o trabalho criativo. Segundo ponto. A discriminação pode ser computacionalmente muito difícil. - As imagens são de longe as mais fáceis. Por exemplo, as equipas geradoras de imagens podem criar grelhas gigantes de resultados para decidir se uma imagem é melhor do que a outra. obrigado à GPU gigante em seu cérebro construída para processar imagens muito rápido. - O texto é muito mais difícil. é skimmable, mas você tem que ler, é semântico, discreto e preciso, então você também tem que raciocinar (esp em, por exemplo, código). - O áudio é talvez ainda mais difícil ainda IMO, porque força um eixo de tempo por isso não é sequer skimmable. você é forçado a gastar computação serial e não pode paralelizá-la de forma alguma. Pode-se dizer que, na codificação, os LLMs colapsaram (1) para ~instante, mas fizeram muito pouco para resolver (2). Uma pessoa ainda tem que olhar para os resultados e discriminar se eles são bons. Esta é a minha maior crítica à codificação LLM na medida em que eles casualmente cospem *maneira* muito código por consulta em complexidade arbitrária, fingindo que não há estágio 2. Obter tanto código é ruim e assustador. Em vez disso, o LLM tem que trabalhar ativamente com você para dividir os problemas em pequenas etapas incrementais, cada uma mais facilmente verificável. Tem que antecipar o trabalho computacional de (2) e reduzi-lo tanto quanto possível. Tem que se importar muito. Isso me leva provavelmente ao maior mal-entendido que os não-codificadores têm sobre codificação. Eles pensam que a codificação é sobre escrever o código (1). Não é. Trata-se de olhar para o código (2). Carregando tudo na sua memória de trabalho. Andar de um lado para o outro. Pensando em todos os casos de borda. Se você me pegar em um ponto aleatório enquanto estou "programando", provavelmente estou apenas olhando para a tela e, se interrompido, realmente louco porque é tão computacionalmente extenuante. Se conseguirmos apenas 1 muito mais rápido, mas não reduzirmos também 2 (o que é na maioria das vezes!), então claramente a velocidade geral de codificação não melhorará (veja a lei de Amdahl).