何かを計算するための一連のヒューリスティックを実装し、コーディングエージェントを使用してそれを行う際に、LLMが実生活でどのように機能するかについてたくさん学んできました。 私のユースケースは、Web サイト ドメインの推定値を決定することです。 私が取り組んでいる(フリー)エージェントは次のとおりです。 ドメイン値.com 今日学んだ教訓: * LLM に評価を生成させることはできません -- たとえ最先端のモデルが推論を行っているとしても。バリュエーションは変動しすぎて、数字の範囲が広い。 * ドメインの専門知識を活用し、分析に役立てるために使用できる高レベルのヒューリスティックを提供する方が良いでしょう。 * コーディングエージェントに「インタビュー」し、評価額がなぜこれほど低い/高いのかを尋ねることで、有用なヒューリスティックを発見するのに役立ちます。 * 特定の評価が「オフ」になっている問題を解決するために、それをナッジするときは注意する必要があります。時々「オーバーフィット」します(一般化するのではなく、その特定の例を解くためにプロンプトを更新します)。 * 見るべき寸法を特定すると便利です。それはそれらを直感しません。たとえば、ドメインが完全に連結された英語の単語で構成されているかどうかです。文字を追加するたびに、値が減少します。したがって、言葉遊び.comは、言葉遊び.comや言葉遊び2 .comよりもはるかに価値があります。 --- なぜ私がドメイン名の評価にこれほど多くの時間を費やしているのか疑問に思う人もいるかもしれません。 回答: このユースケースについてではなく、このケースを使用して AI についての理解を深め、エージェントを構築するための AgentAI プラットフォームを改善することです。 独自の製品/プラットフォームを使用することには、非常に高い価値とレバレッジがあります。