Har lärt mig massor om hur LLM:er fungerar i verkligheten när de implementerar en uppsättning heuristik för att beräkna något och använder en kodningsagent för att göra det. Mitt användningsfall är att bestämma det uppskattade värdet av en webbplatsdomän. Här är den (gratis) agenten jag jobbar med: DomainValue .com LÄRDOMAR IDAG: * Du kan inte bara låta LLM göra en värdering - även med de mest avancerade modellerna som gör resonemang. Värderingarna fluktuerar för mycket med stor variation i siffrorna. * Det är bättre att ta domänexpertis och tillhandahålla heuristik på högre nivå som den kan använda för att informera sin analys. * Du kan hjälpa till att upptäcka användbar heuristik genom att "intervjua" kodningsagenten och fråga den varför värderingen är så låg/hög. * Du måste vara försiktig när du knuffar den för att lösa ett problem med en viss värdering som är "off". Det kommer ibland att "överanpassa" (vilket innebär att det uppdaterar uppmaningen att lösa för det specifika exemplet istället för att generalisera). * Det är användbart att identifiera de dimensioner som den ska titta på. Det antyder inte dem. Till exempel om en domän helt består av engelska ord som sammanfogats. Varje ytterligare tecken minskar värdet. Så ordlekar .com är värda mycket mer än ordlekar .com eller ordlekar2 .com. --- Några av er kanske undrar varför jag lägger så mycket tid på domännamnsvärdering. Svar: Det handlar inte om det här användningsfallet, det handlar om att använda det här fallet för att utveckla min förståelse för AI och för att förbättra AgentAI-plattformen för byggagenter. Det finns verkligen ett högt värde och en hävstångseffekt i att använda sin egen produkt/plattform.