Ho imparato molto su come funzionano i LLM nella vita reale implementando un insieme di euristiche per calcolare qualcosa e utilizzando un agente di codifica per farlo. Il mio caso d'uso è determinare il valore stimato di un dominio web. Ecco l'agente (gratuito) su cui sto lavorando: DomainValue .com LEZIONI APPRESE OGGI: * Non puoi semplicemente far produrre una valutazione all'LLM -- anche con i modelli più avanzati che fanno ragionamenti. Le valutazioni fluttuano troppo con un'ampia gamma di numeri. * È meglio prendere competenze di dominio e fornire euristiche di livello superiore che possa utilizzare per informare la sua analisi. * Puoi aiutare a scoprire euristiche utili "intervistando" l'agente di codifica e chiedendogli perché la valutazione è così bassa/alta. * Devi stare attento quando lo spingi a risolvere un problema con una particolare valutazione che è "sbagliata". A volte "overfit" (dove aggiorna il prompt per risolvere quel particolare esempio invece di generalizzare). * È utile identificare le dimensioni su cui dovrebbe concentrarsi. Non lo intuisce. Ad esempio, se un dominio è composto completamente da parole inglesi concatenate. Ogni carattere aggiuntivo riduce il valore. Quindi wordplay .com vale molto di più di word-play .com o wordplay2 .com. --- Alcuni di voi potrebbero chiedersi perché sto dedicando così tanto tempo alla valutazione dei nomi di dominio. Risposta: Non si tratta di questo caso d'uso, ma di utilizzare questo caso per sviluppare la mia comprensione dell'IA e per migliorare la piattaforma AgentAI per la creazione di agenti. C'è un valore e un leverage davvero elevati nell'utilizzare il proprio prodotto/piattaforma.