"A inferência não é o modelo de negócio" via @latentspacepod

Imagine se os postos de gasolina não te dissessem quantos galões estavas a receber. O posto construiu o teu carro, mas não podes olhar debaixo do capô. Essa é a dilema da subscrição de inferência numa imagem, e a realidade de vender commodities em modelos de subscrição. 🧵

Imagine se os postos de gasolina não te dissessem quantos galões estavas a receber. O posto construiu o teu carro, mas não podes olhar debaixo do capô. Essa é a crise da subscrição de IA numa imagem, e a realidade de vender produtos em modelos de subscrição. 🧵

A pior parte da inferência da @CerebrasSystems? Você não tem tempo para fazer um espresso enquanto Cline codifica. Junte-se ao nosso hackathon no próximo sábado para explorar o novo paradigma: inferência instantânea. $5k em prêmios → Confirme a sua presença abaixo

> 2500 tokens por segundo > 40x mais rápido que o Sonnet-4 > 4 trilhões de wafers de transistores (19x Nvidia B200) Estes são números impressionantes, mas nada supera uma demonstração ao vivo. 1 milhão de tokens gratuitos por dia do qwen3-32b e qwen3-235b super rápidos da @CerebrasSystems em Cline. Link abaixo.

se você é uma microcelebridade no Twitter em SF, recebe pacotes de PR de startups de agentes de codificação

Aqui está o motivo pelo qual decidimos (1) tornar o Cline open source e (2) não incluir a revenda de inferências no nosso modelo de negócios: Quando você controla a inferência (as chamadas do modelo de IA) e nós construímos a estrutura (o sistema que direciona essas chamadas), nenhuma das partes pode obscurecer o que está acontecendo. Você vê exatamente quais modelos são chamados, quanto contexto é utilizado, quais decisões são tomadas. Não podemos degradar silenciosamente o desempenho para melhorar as margens porque você está pagando diretamente ao fornecedor de inferência. Essa separação significa que temos sucesso apenas quando o Cline se torna mais capaz. Não quando encontramos maneiras inteligentes de reduzir o seu uso de tokens. Não quando direcionamos para modelos mais baratos sem lhe informar. Não quando limitamos artificialmente as janelas de contexto. O resultado: o Cline usa o modelo certo para cada tarefa (conforme definido por você), integra qualquer ferramenta que você precisar via MCP e opera sem restrições arbitrárias. Você obtém acesso puro e sem filtros à capacidade de IA. Construímos dessa forma porque, quando os incentivos estão alinhados corretamente, você não precisa confiar em nós. A própria arquitetura garante que estamos trabalhando em direção ao mesmo objetivo: a experiência de codificação em IA mais poderosa possível. A conclusão é que o Cline oferece o melhor desempenho possível a partir dos melhores modelos, ponto final.

muito entusiasmado para ver para onde vamos a partir daqui com os modelos de sistema operacional

No nosso benchmark interno de edição de "Hard" diff para casos em que um modelo de fronteira anteriormente falhou numa edição de diff (antes das nossas atualizações do algoritmo de diff), Kimi superou Claude 3.5. Vai ser interessante ver os resultados dos nossos benchmarks de "Dificuldade Pesadelo" nas próximas semanas.

hmmm recebi uma caixa misteriosa com o meu nome nela