Ik heb een hoop geleerd over hoe LLM's in het echte leven werken bij het implementeren van een set heuristieken om iets te berekenen en het gebruik van een coderingsagent om dit te doen. Mijn gebruiksgeval is het bepalen van de geschatte waarde van een website-domein. Hier is de (gratis) agent waar ik aan werk: DomainValue .com LESSEN DIE IK VANDAAG HEB GELEERD: * Je kunt de LLM niet gewoon een waardering laten produceren -- zelfs niet met de meest geavanceerde modellen die redeneren. Waarderingen fluctueren te veel met een breed scala aan cijfers. * Het is beter om domeinexpertise te gebruiken en hogere heuristieken te bieden die het kan gebruiken om zijn analyse te informeren. * Je kunt nuttige heuristieken ontdekken door de coderingsagent te "interviewen" en het te vragen waarom de waardering zo laag/hoog is. * Je moet voorzichtig zijn wanneer je het duwt om een probleem met een bepaalde waardering die "af" is op te lossen. Het zal soms "overfitten" (waarbij het de prompt bijwerkt om dat specifieke voorbeeld op te lossen in plaats van te generaliseren). * Het is nuttig om de dimensies te identificeren waar het naar moet kijken. Het intuït niet. Voorbeeld: of een domein volledig uit Engelse woorden bestaat die aan elkaar zijn geplakt. Elk extra teken vermindert de waarde. Dus wordplay .com is veel meer waard dan word-play .com of wordplay2 .com. --- Sommigen van jullie vragen zich misschien af waarom ik zoveel tijd besteed aan de waardering van domeinnamen. Antwoord: Het gaat niet om dit gebruiksgeval, het gaat erom dit geval te gebruiken om mijn begrip van AI te ontwikkelen en om het AgentAI-platform voor het bouwen van agents te verbeteren. Er is echt hoge waarde en hefboomwerking in het gebruik van je eigen product/platform.