Я много учусь о том, как LLM работают в реальной жизни, когда реализую набор эвристик для расчета чего-то и использую кодирующего агента для этого. Мой случай использования заключается в определении предполагаемой стоимости доменного имени веб-сайта. Вот (бесплатный) агент, над которым я работаю: DomainValue .com УРОКИ, УЧЕНЫЕ СЕГОДНЯ: * Нельзя просто заставить LLM произвести оценку — даже с самыми современными моделями, выполняющими рассуждения. Оценки слишком колеблются с широким диапазоном чисел. * Лучше взять экспертное мнение по доменам и предоставить более высокоуровневые эвристики, которые он может использовать для информирования своего анализа. * Вы можете помочь обнаружить полезные эвристики, "интервьюируя" кодирующего агента и спрашивая его, почему оценка такая низкая/высокая. * Нужно быть осторожным, когда вы подталкиваете его к решению проблемы с конкретной оценкой, которая "неправильная". Иногда он может "переобучиться" (когда он обновляет подсказку, чтобы решить именно этот конкретный пример, вместо того чтобы обобщать). * Полезно определить параметры, на которые он должен обратить внимание. Он не интуитивно понимает это. Например, состоит ли домен полностью из английских слов, соединенных вместе. Каждый дополнительный символ снижает стоимость. Поэтому wordplay .com стоит гораздо больше, чем word-play .com или wordplay2 .com. --- Некоторые из вас могут задаться вопросом, почему я трачу так много времени на оценку доменных имен. Ответ: дело не в этом случае использования, а в том, чтобы использовать этот случай для развития моего понимания ИИ и для улучшения платформы AgentAI для создания агентов. Есть действительно высокая ценность и возможность использовать свой собственный продукт/платформу.