He estado aprendiendo mucho sobre cómo funcionan los LLM en la vida real al implementar un conjunto de heurísticas para calcular algo y utilizando un agente de codificación para hacerlo. Mi caso de uso es determinar el valor estimado de un dominio de sitio web. Aquí está el agente (gratis) en el que estoy trabajando: DomainValue .com LECCIONES APRENDIDAS HOY: * No puedes simplemente hacer que el LLM produzca una valoración -- incluso con los modelos más avanzados haciendo razonamiento. Las valoraciones fluctúan demasiado con un amplio rango en los números. * Es mejor tomar la experiencia en dominios y proporcionar heurísticas de nivel superior que pueda usar para informar su análisis. * Puedes ayudar a descubrir heurísticas útiles "entrevistando" al agente de codificación y preguntándole por qué la valoración es tan baja/alta. * Debes tener cuidado al empujarlo para resolver un problema con una valoración particular que esté "desviada". A veces "sobreajustará" (donde actualiza el aviso para resolver ese ejemplo particular en lugar de generalizar). * Es útil identificar las dimensiones que debería considerar. No las intuye. Por ejemplo, si un dominio consiste completamente en palabras en inglés concatenadas. Cada carácter adicional reduce el valor. Así que wordplay .com vale mucho más que word-play .com o wordplay2 .com. --- Algunos de ustedes podrían preguntarse por qué estoy dedicando tanto tiempo a la valoración de nombres de dominio. Respuesta: No se trata de este caso de uso, se trata de usar este caso para desarrollar mi comprensión de la IA y para mejorar la plataforma AgentAI para construir agentes. Realmente hay un alto valor y apalancamiento en usar el propio producto/plataforma.