Tenho aprendido muito sobre como os LLMs funcionam na vida real ao implementar um conjunto de heurísticas para calcular algo e usando um agente de codificação para isso. O meu caso de uso é determinar o valor estimado de um domínio de website. Aqui está o agente (gratuito) com o qual estou a trabalhar: DomainValue .com LIÇÕES APRENDIDAS HOJE: * Não se pode simplesmente fazer com que o LLM produza uma avaliação -- mesmo com os modelos mais avançados a fazer raciocínio. As avaliações flutuam demasiado com uma ampla gama de números. * É melhor ter especialização em domínios e fornecer heurísticas de nível superior que ele possa usar para informar a sua análise. * Você pode ajudar a descobrir heurísticas úteis "entrevistando" o agente de codificação e perguntando-lhe por que a avaliação é tão baixa/alta. * É preciso ter cuidado ao empurrá-lo para resolver um problema com uma avaliação particular que está "fora". Às vezes, ele "overfit" (onde atualiza o prompt para resolver aquele exemplo particular em vez de generalizar). * É útil identificar as dimensões que ele deve considerar. Ele não intui isso. Por exemplo, se um domínio consiste completamente de palavras em inglês concatenadas. Cada caractere adicional reduz o valor. Assim, wordplay .com vale muito mais do que word-play .com ou wordplay2 .com. --- Alguns de vocês podem estar a perguntar-se por que estou a gastar tanto tempo na avaliação de nomes de domínio. Resposta: Não se trata deste caso de uso, mas sim de usar este caso para desenvolver a minha compreensão de IA e para melhorar a plataforma AgentAI para construir agentes. Há realmente um alto valor e alavancagem em usar o próprio produto/plataforma.