När du frågar AI samlar den in relevant information för att svara dig. Men hur mycket information behöver modellen? Samtal med utövare avslöjade deras intuition: indata var ~20 gånger större än output. Men mina experiment med Gemini-verktygets kommandoradsgränssnitt, som matar ut detaljerad tokenstatistik, avslöjade att det är mycket högre. 300x i genomsnitt och upp till 4000x. Här är anledningen till att det här höga input-to-output-förhållandet är viktigt för alla som bygger med AI: Cost Management handlar om input. Med API-anrop prissatta per token innebär ett förhållande på 300:1 att kostnaderna dikteras av sammanhanget, inte svaret. Denna prisdynamik gäller för alla större modeller. På OpenAI:s prissida är utdatatoken för GPT-4.1 4 gånger så dyra som indatatokens. Men när insatsen är 300 gånger mer omfattande är insatskostnaderna fortfarande 98 % av den totala räkningen. Latens är en funktion av kontextstorleken. En viktig faktor som avgör hur länge en användare väntar på ett svar är den tid det tar för modellen att bearbeta indata. Det omdefinierar den tekniska utmaningen. Denna observation bevisar att den största utmaningen med att bygga med LLM inte bara är att uppmana. Det är kontextteknik. Den kritiska uppgiften är att bygga effektiv datahämtning och kontext – att skapa pipelines som kan hitta den bästa informationen och destillera den till minsta möjliga tokenfotavtryck. Cachelagring blir verksamhetskritisk. Om 99 % av token finns i indata går byggandet av ett robust cachelagringslager för ofta hämtade dokument eller vanliga frågekontexter från ett "trevligt att ha" till ett grundläggande arkitektoniskt krav för att skapa en kostnadseffektiv och skalbar produkt. För utvecklare innebär detta att fokus på inputoptimering är en viktig hävstång för att kontrollera kostnaderna, minska latensen och i slutändan bygga en framgångsrik AI-driven produkt.