Ich habe heute viel darüber gelernt, wie LLMs im echten Leben funktionieren, wenn ich eine Reihe von Heuristiken implementiere, um etwas zu berechnen, und einen Coding-Agenten dafür benutze. Mein Anwendungsfall besteht darin, den geschätzten Wert einer Website-Domain zu bestimmen. Hier ist der (kostenlose) Agent, an dem ich arbeite: DomainValue .com LEKTIONEN, DIE ICH HEUTE GELERNT HABE: * Man kann nicht einfach das LLM eine Bewertung erstellen lassen – selbst mit den fortschrittlichsten Modellen, die Schlussfolgerungen ziehen. Bewertungen schwanken zu stark mit einer breiten Spanne in den Zahlen. * Es ist besser, Fachwissen über Domains zu nutzen und höhere Heuristiken bereitzustellen, die es verwenden kann, um seine Analyse zu informieren. * Man kann nützliche Heuristiken entdecken, indem man den Coding-Agenten "interviewt" und ihn fragt, warum die Bewertung so niedrig/hoch ist. * Man muss vorsichtig sein, wenn man ihn anstößt, um ein Problem mit einer bestimmten Bewertung, die "falsch" ist, zu lösen. Manchmal "überanpasst" er (wobei er die Eingabe aktualisiert, um dieses spezielle Beispiel zu lösen, anstatt zu verallgemeinern). * Es ist nützlich, die Dimensionen zu identifizieren, die er betrachten sollte. Er intuitiert diese nicht. Beispiel: ob eine Domain vollständig aus englischen Wörtern besteht, die zusammengefügt sind. Jedes zusätzliche Zeichen reduziert den Wert. Daher ist wordplay .com viel mehr wert als word-play .com oder wordplay2 .com. --- Einige von euch fragen sich vielleicht, warum ich so viel Zeit mit der Bewertung von Domainnamen verbringe. Antwort: Es geht nicht um diesen Anwendungsfall, sondern darum, diesen Fall zu nutzen, um mein Verständnis von KI zu entwickeln und die AgentAI-Plattform zur Erstellung von Agenten zu verbessern. Es gibt wirklich hohen Wert und Hebelwirkung, wenn man sein eigenes Produkt/seine eigene Plattform nutzt.