"O termo "wrapper ChatGPT" está cansado e muito, muito errado."
Andrej Karpathy
Andrej Karpathy25 de jun. de 2025
+1 para "engenharia de contexto" em vez de "engenharia rápida". As pessoas associam prompts a descrições curtas de tarefas que você daria a um LLM em seu uso diário. Quando em todos os aplicativos LLM de força industrial, a engenharia de contexto é a delicada arte e ciência de preencher a janela de contexto com as informações certas para a próxima etapa. Ciência porque fazer isso direito envolve descrições e explicações de tarefas, poucos exemplos de tiros, RAG, dados relacionados (possivelmente multimodais), ferramentas, estado e histórico, compactação... Muito pouco ou da forma errada e o LLM não tem o contexto certo para um desempenho ideal. Muito ou muito irrelevante e os custos de LLM podem subir e o desempenho pode diminuir. Fazer isso bem é altamente não trivial. E arte por causa da intuição orientadora em torno da psicologia LLM dos espíritos das pessoas. Além da engenharia de contexto em si, um aplicativo LLM precisa: - dividir os problemas em fluxos de controle - embale as janelas de contexto da maneira certa - enviar chamadas para LLMs do tipo e capacidade certos - lidar com fluxos UIUX de verificação de geração - muito mais - proteções, segurança, avaliações, paralelismo, pré-busca, ... Portanto, a engenharia de contexto é apenas uma pequena parte de uma camada espessa emergente de software não trivial que coordena chamadas LLM individuais (e muito mais) em aplicativos LLM completos. O termo "wrapper ChatGPT" está cansado e muito, muito errado.
292,56K