Complexe systemen deze week is met @philipkiely, die onlangs het boek (letterlijk) over Inference Engineering heeft geschreven. We hebben besproken hoe de adoptie van AI eruitziet als een engineeringkwestie in ondernemingen.

Ik blijf denken dat de chat-apps a) een van de meest explosief populaire enkele applicaties zijn die ooit op de markt zijn gebracht en b) voornamelijk een tech-demo zijn voor het echte product, namelijk de API. Het is een transformerende primitief zoals if-statements en for-loops.

In tegenstelling tot if-statements en for-loops, is er een middleware-laag in ontwikkeling, deels vanwege de snelheid van verandering in het onderliggende substraat, wat (vreemd voor technologie) niet strikt positief is. En dus, in plaats van je haar uit te trekken wanneer er een modelupdate verschijnt...

... het team dat verantwoordelijk is voor het implementeren van intelligentie op grote schaal kan bijvoorbeeld geautomatiseerde benchmarks uitvoeren van de verschillende modellen tegen de verschillende taken die je hebt, eerdere verzoeken tegen de nieuwe uitdager uitvoeren en deze automatisch beoordelen, en vervolgens de winnaars automatisch naar voren brengen.

Veel hiervan lijkt op de adaptieve introductie van infrastructuur on-the-fly, wat een mogelijkheid is die voor mij een beetje sciencefictionachtig aanvoelt.

Ik denk dat er een asymmetrische zichtbaarheid is op Twitter van prosumer AI-toepassingen, inclusief moderne coderingstools (die de economisch meest belangrijke LLM-ontwikkeling... tot nu toe zijn). De introductie in de onderneming zal achterlopen, maar niet met een decennium, en zal er anders uitzien.

Minder "laten we het gewoon aan alle inboxen geven en YOLO", meer pilots, meer bedrijfsapplicaties die geleidelijk worden getransformeerd, en dan wordt het echt vreemd in de tweede generatie wanneer je begint te denken "Hoe ziet dit bedrijfsproces eruit als we het ontwerpen rond de bestaande LLM's."