Complex Systems denne uken er med @philipkiely, som nylig har skrevet boken (bokstavelig talt) om inferensteknikk. Vi diskuterte hvordan AI-adopsjon ser ut som et ingeniørfag i bedrifter.

Jeg fortsetter å tro at chat-appene a) er blant de mest eksplosivt populære enkeltapplikasjonene som noen gang er lansert på markedet, og b) stort sett en teknologisk demo for det virkelige produktet, som er API-et. Det er en transformativ primitiv som if-setninger og for-løkker.

I motsetning til if-setninger og for-løkker, utvikler det seg et mellomvarelag, delvis på grunn av endringstakten i det underliggende substratet, som (merkelig nok for teknologi) ikke er strengt positivt. Så i stedet for å rive deg i håret når en modelloppdatering slippes...

... Teamet som har ansvar for å implementere intelligens i stor skala kan for eksempel ha automatisert benchmarking av de ulike modellene mot de ulike oppgavene du har, kjøre forhåndsforespørsler mot den nye utfordreren og vurdere dem automatisk, og deretter automatisk avansere vinnere.

Mye av dette ligner på adaptiv innføring av infrastruktur på sparket, noe som føles litt sci-fi for meg.

Jeg tror det er asymmetrisk synlighet på Twitter for prosumer-AI-brukstilfeller, inkludert moderne kodeverktøy (som er de mest økonomisk viktige LLM-utviklingene... så langt). Introduksjonen i virksomheten vil henge etter, men ikke med et tiår, og vil se annerledes ut.

Færre «la oss bare gi det alle innbokser og YOLO», flere piloter, flere forretningsapper gradvis transformert, og så blir ting veldig merkelige i andre generasjon når du begynner å tenke «Hvordan ser denne forretningsprosessen ut i livet hvis vi designer den rundt eksisterende LLM-er».