Am învățat o mulțime despre cum funcționează LLM-urile în viața reală atunci când implementez un set de euristici pentru a calcula ceva și folosind un agent de codificare pentru a face acest lucru. Cazul meu de utilizare este determinarea valorii estimate a unui domeniu de site web. Iată agentul (liber) la care lucrez: DomainValue .com LECȚII ÎNVĂȚATE ASTĂZI: * Nu poți cere LLM să producă o evaluare - chiar și cu cele mai avansate modele care fac raționament. Evaluările fluctuează prea mult, cu o gamă largă de cifre. * Mai bine să ia expertiză în domeniu și să ofere euristică de nivel superior pe care să o poată folosi pentru a-și informa analiza. * Puteți ajuta la descoperirea euristicilor utile prin "intervievarea" agentului de codificare și întrebându-l de ce evaluarea este atât de mică/mare. * Trebuie să fii atent atunci când îl împingi pentru a rezolva o problemă cu o anumită evaluare "dezactivată". Uneori se va "suprapotrivi" (prin care actualizează promptul pentru a rezolva acel exemplu particular în loc să generalizeze). * Este util pentru a identifica dimensiunile pe care ar trebui să le analizeze. Nu le intuiește. Exemplu, dacă un domeniu constă în întregime din cuvinte englezești concatenate împreună. Fiecare caracter suplimentar reduce valoarea. Deci, jocul de cuvinte .com valorează mult mai mult decât jocul de cuvinte .com sau jocul de cuvinte2 .com. --- Unii dintre voi s-ar putea întreba de ce petrec atât de mult timp cu evaluarea numelui de domeniu. Răspuns: Nu este vorba despre acest caz de utilizare, ci despre utilizarea acestui caz pentru a-mi dezvolta înțelegerea AI și pentru a îmbunătăți platforma AgentAI pentru construirea agenților. Există o valoare și o pârghie foarte mari în utilizarea propriului produs/platformă.