J'ai beaucoup appris sur le fonctionnement des LLM dans la vie réelle en mettant en œuvre un ensemble d'heuristiques pour calculer quelque chose et en utilisant un agent de codage pour le faire. Mon cas d'utilisation consiste à déterminer la valeur estimée d'un domaine de site web. Voici l'agent (gratuit) sur lequel je travaille : DomainValue .com LEÇONS APPRISES AUJOURD'HUI : * Vous ne pouvez pas simplement demander au LLM de produire une évaluation -- même avec les modèles les plus avancés qui font du raisonnement. Les évaluations fluctuent trop avec une large gamme de chiffres. * Il vaut mieux prendre l'expertise du domaine et fournir des heuristiques de haut niveau qu'il peut utiliser pour informer son analyse. * Vous pouvez aider à découvrir des heuristiques utiles en "interrogeant" l'agent de codage et en lui demandant pourquoi l'évaluation est si basse/haute. * Vous devez faire attention lorsque vous l'incitez à résoudre un problème avec une évaluation particulière étant "erronée". Il va parfois "surréagir" (où il met à jour l'invite pour résoudre cet exemple particulier au lieu de généraliser). * Il est utile d'identifier les dimensions qu'il doit examiner. Il ne les devine pas. Par exemple, si un domaine est entièrement composé de mots anglais concaténés. Chaque caractère supplémentaire réduit la valeur. Ainsi, wordplay .com vaut beaucoup plus que word-play .com ou wordplay2 .com. --- Certains d'entre vous se demandent peut-être pourquoi je passe autant de temps sur l'évaluation des noms de domaine. Réponse : Ce n'est pas à propos de ce cas d'utilisation, c'est à propos d'utiliser ce cas pour développer ma compréhension de l'IA et pour améliorer la plateforme AgentAI pour la création d'agents. Il y a vraiment une grande valeur et un levier à utiliser son propre produit/plateforme.