Os Sistemas Complexos desta semana estão com @philipkiely, que recentemente escreveu o livro (literalmente) sobre Engenharia de Inferência. Discutimos como a adoção de IA se apresenta como uma questão de engenharia nas empresas.

Continuo a pensar que as aplicações de chat são a) uma das aplicações únicas mais explosivamente populares já lançadas no mercado e b) principalmente uma demonstração técnica para o verdadeiro produto, que é a API. É um primitivo transformador como as instruções if e os loops for.

Ao contrário das instruções if e dos loops for, está a desenvolver-se uma camada de middleware, em parte devido ao ritmo de mudança no substrato subjacente, que (estranhamente para a tecnologia) não é estritamente positivo. E assim, em preferência a arrancar os cabelos quando uma atualização de modelo é lançada...

... a equipa responsável por implementar inteligência em grande escala pode, por exemplo, ter benchmarking automatizado dos vários modelos em relação às várias tarefas que você tem, executar pedidos anteriores contra o novo desafiante e classificá-los automaticamente, e depois avançar os vencedores automaticamente.

Muito disso se assemelha à introdução adaptativa de infraestrutura em tempo real, que é uma capacidade que me parece um pouco de ficção científica.

Acho que há uma visibilidade assimétrica no Twitter sobre os casos de uso de AI prosumer, incluindo ferramentas de codificação modernas (que são o desenvolvimento de LLM mais economicamente importante... até agora). A introdução nas empresas vai atrasar, mas não por uma década, e será diferente.

Menos "vamos apenas dar tudo às caixas de entrada e YOLO", mais pilotos, mais aplicações de linha de negócios gradualmente transformadas, e então as coisas ficam realmente estranhas na segunda geração quando você começa a pensar "Como é que este processo de negócios se parece se o desenharmos em torno dos LLMs existentes."