Tenho aprendido muito sobre como os LLMs funcionam na vida real ao implementar um conjunto de heurísticas para calcular algo e usar um agente de codificação para fazê-lo. Meu caso de uso é determinar o valor estimado de um domínio de site. Aqui está o agente (gratuito) em que estou trabalhando: DomainValue .com LIÇÕES APRENDIDAS HOJE: * Você não pode simplesmente fazer com que o LLM produza uma avaliação - mesmo com os modelos mais avançados fazendo o raciocínio. As avaliações flutuam muito com uma ampla gama nos números. * Melhor ter experiência de domínio e fornecer heurísticas de nível superior que possam ser usadas para informar sua análise. * Você pode ajudar a descobrir heurísticas úteis "entrevistando" o agente codificador e perguntando por que a avaliação é tão baixa/alta. * Você deve ter cuidado ao cutucá-lo para resolver um problema com uma avaliação específica "desligada". Às vezes, ele "superajusta" (por meio do qual atualiza o prompt para resolver esse exemplo específico em vez de generalizar). * É útil identificar as dimensões que deve ser observada. Não os intui. Exemplo, se um domínio consiste completamente em palavras em inglês concatenadas. Cada caractere adicional reduz o valor. Portanto, o jogo de palavras .com vale muito mais do que o jogo de palavras .com ou o jogo de palavras2 .com. --- Alguns de vocês podem estar se perguntando por que estou gastando tanto tempo na avaliação de nomes de domínio. Resposta: Não se trata desse caso de uso, trata-se de usá-lo para desenvolver minha compreensão da IA e melhorar a plataforma AgentAI para criar agentes. Há um valor e uma alavancagem realmente altos no uso do próprio produto/plataforma.