"O termo "ChatGPT wrapper" está cansado e realmente, realmente errado."
Andrej Karpathy
Andrej Karpathy25/06/2025
+1 para "engenharia de contexto" em vez de "engenharia de prompt". As pessoas associam prompts a descrições curtas de tarefas que você daria a um LLM no seu uso diário. Quando, em cada aplicativo LLM de força industrial, a engenharia de contexto é a delicada arte e ciência de preencher a janela de contexto com as informações certas para o próximo passo. Ciência porque fazer isso corretamente envolve descrições de tarefas e explicações, exemplos de poucos disparos, RAG, dados relacionados (possivelmente multimodais), ferramentas, estado e histórico, compactação... Muito pouco ou na forma errada e o LLM não tem o contexto certo para um desempenho ótimo. Muito ou irrelevante demais e os custos do LLM podem aumentar e o desempenho pode cair. Fazer isso bem é altamente não trivial. E arte por causa da intuição orientadora em torno da psicologia do LLM e do espírito das pessoas. Além da própria engenharia de contexto, um aplicativo LLM tem que: - dividir problemas da maneira certa em fluxos de controle - empacotar as janelas de contexto da maneira certa - despachar chamadas para LLMs do tipo e capacidade corretos - lidar com fluxos de UIUX de geração-verificação - muito mais - barreiras de proteção, segurança, avaliações, paralelismo, pré-busca, ... Portanto, a engenharia de contexto é apenas uma pequena parte de uma camada emergente espessa de software não trivial que coordena chamadas individuais de LLM (e muito mais) em aplicativos LLM completos. O termo "wrapper do ChatGPT" está cansado e realmente, realmente errado.
292,53K