He estado aprendiendo mucho sobre cómo funcionan los LLM en la vida real al implementar un conjunto de heurísticas para calcular algo y usar un agente de codificación para hacerlo. Mi caso de uso es determinar el valor estimado del dominio de un sitio web. Aquí está el agente (gratuito) en el que estoy trabajando: DomainValue .com LECCIONES APRENDIDAS HOY: * No se puede simplemente hacer que el LLM produzca una valoración, incluso con los modelos más avanzados haciendo razonamiento. Las valoraciones fluctúan demasiado con una amplia gama de números. * Es mejor tomar la experiencia en el dominio y proporcionar heurísticas de mayor nivel que pueda usar para informar su análisis. * Puede ayudar a descubrir heurísticas útiles "entrevistando" al agente de codificación y preguntándole por qué la valoración es tan baja / alta. * Debe tener cuidado al empujarlo para resolver un problema con una valoración en particular que esté "desactivada". A veces se "sobreajustará" (por lo que actualiza el mensaje para resolver ese ejemplo en particular en lugar de generalizar). * Es útil identificar las dimensiones que debe mirar. No los intuye. Ejemplo, si un dominio consta completamente de palabras en inglés concatenadas juntas. Cada carácter adicional reduce el valor. Por lo tanto, los juegos de palabras .com valen mucho más que los juegos de palabras .com o los juegos de palabras2 .com. --- Algunos de ustedes se preguntarán por qué dedico tanto tiempo a la valoración de nombres de dominio. Respuesta: No se trata de este caso de uso, se trata de usar este caso para desarrollar mi comprensión de la IA y para mejorar la plataforma AgentAI para crear agentes. Hay un valor y una ventaja realmente altos en el uso del propio producto/plataforma.