Я багато дізнався про те, як LLM працюють у реальному житті, коли реалізовуєте набір евристик для обчислення чогось і використовуєте для цього кодуючий агент. Мій юзкейс – визначення оціночної вартості домену веб-сайту. Ось (вільний) агент, над яким я працюю: DomainValue .com УРОКИ, ЗАСВОЄНІ СЬОГОДНІ: * Ви не можете просто змусити LLM зробити оцінку - навіть з найбільш просунутими моделями, які виконують міркування. Оцінки занадто сильно коливаються при широкому діапазоні в цифрах. * Краще взяти експертизу предметної області та надати евристику вищого рівня, яку вона може використовувати для свого аналізу. * Ви можете допомогти виявити корисну евристику, «опитавши» агента з кодування та запитавши його, чому оцінка така низька/висока. * Ви повинні бути обережними, підштовхуючи його, щоб вирішити проблему з певною оцінкою, яка «вимкнена». Іноді він «перевантажує» (завдяки чому оновлює запит на розв'язання для цього конкретного прикладу замість узагальнення). * Корисно визначити розміри, на які він повинен дивитися. Він їх не відчуває. Наприклад, чи домен повністю складається з англійських слів, об'єднаних разом. Кожен додатковий символ зменшує значення. Отже, гра слів .com коштує набагато більше, ніж .com гри слів або .com гри слів2. --- Деякі з вас можуть задатися питанням, чому я витрачаю так багато часу на оцінку доменних імен. Відповідь: Мова йде не про цей випадок використання, а про використання цього кейсу для розвитку мого розуміння штучного інтелекту та для вдосконалення платформи AgentAI для створення агентів. У використанні власного продукту/платформи є дійсно висока цінність і важелі впливу.