Har lært massevis om hvordan LLM-er fungerer i det virkelige liv når du implementerer et sett med heuristikk for å beregne noe og bruker en kodeagent for å gjøre det. Brukstilfellet mitt er å bestemme den estimerte verdien av et nettstedsdomene. Her er den (gratis) agenten jeg jobber med: DomainValue-.com LÆRDOMMER I DAG: * Du kan ikke bare få LLM til å produsere en verdivurdering - selv med de mest avanserte modellene som resonnerer. Verdivurderingene svinger for mye med stor variasjon i tallene. * Bedre å ta domeneekspertise og gi heuristikk på høyere nivå som den kan bruke til å informere analysen. * Du kan bidra til å oppdage nyttig heuristikk ved å "intervjue" kodeagenten og spørre den hvorfor verdsettelsen er så lav/høy. * Du må være forsiktig når du dytter den for å løse et problem med en bestemt verdivurdering som er "av". Det vil noen ganger "overpasse" (hvorved det oppdaterer ledeteksten for å løse for det aktuelle eksemplet i stedet for å generalisere). * Det er nyttig å identifisere dimensjonene den skal se på. Det gir ikke intusjon for dem. Eksempel, om et domene utelukkende består av engelske ord som er satt sammen. Hvert ekstra tegn reduserer verdien. Så ordspill .com er verdt mye mer enn ordspill .com eller ordspill2 .com. --- Noen av dere lurer kanskje på hvorfor jeg bruker så mye tid på verdivurdering av domenenavn. Svar: Det handler ikke om denne brukssaken, det handler om å bruke denne saken til å utvikle min forståelse av AI og for å forbedre AgentAI-plattformen for byggeagenter. Det er virkelig høy verdi og innflytelse i å bruke sitt eget produkt/plattform.