Uczę się mnóstwo o tym, jak LLM-y działają w rzeczywistości, implementując zestaw heurystyk do obliczenia czegoś i używając agenta kodującego do tego. Mój przypadek użycia to określenie szacunkowej wartości domeny internetowej. Oto (darmowy) agent, nad którym pracuję: DomainValue .com NAUCZONE LEKCJE DZISIAJ: * Nie można po prostu polegać na LLM, aby wyprodukować wycenę -- nawet przy najbardziej zaawansowanych modelach wykonujących rozumowanie. Wyceny zbyt mocno się wahają w szerokim zakresie liczb. * Lepiej jest wziąć pod uwagę wiedzę domenową i dostarczyć wyższe heurystyki, które może wykorzystać do informowania swojej analizy. * Możesz pomóc odkryć użyteczne heurystyki, "przesłuchując" agenta kodującego i pytając go, dlaczego wycena jest tak niska/wysoka. * Musisz być ostrożny, gdy nakłaniasz go do rozwiązania problemu z konkretną wyceną, która jest "nieprawidłowa". Czasami "przeucza się" (gdzie aktualizuje podpowiedź, aby rozwiązać ten konkretny przykład zamiast uogólniać). * Przydatne jest zidentyfikowanie wymiarów, na które powinien zwrócić uwagę. Nie intuicjonuje ich. Na przykład, czy domena składa się całkowicie z angielskich słów połączonych razem. Każdy dodatkowy znak obniża wartość. Tak więc wordplay .com jest warte znacznie więcej niż word-play .com lub wordplay2 .com. --- Niektórzy z was mogą się zastanawiać, dlaczego spędzam tyle czasu na wycenie nazw domen. Odpowiedź: nie chodzi o ten przypadek użycia, chodzi o wykorzystanie tego przypadku do rozwijania mojej wiedzy o AI i poprawy platformy AgentAI do budowania agentów. Jest naprawdę wysoka wartość i dźwignia w używaniu własnego produktu/platformy.