O pré-treinamento é uma ciência elegante, feita por matemáticos que se sentam em câmaras frigoríficas escrevendo teoria de otimização em quadros-negros, engenheiros com absorção total de sistemas distribuídos de escala titânica Posttraining é uma pesquisa de cowboy de arrepiar os cabelos, onde as pessoas que bebem muita coca diet gritam novos hiperparâmetros para experimentar umas às outras do outro lado da sala. está fazendo muitas tabelas! As vibrações estão piorando, abaixe o botão! checkpoint gpt-9-final-v320-restart4 está me xingando! o ganso está solto

Perdendo o ponto de que será um sistema cujo comportamento é controlado por poucas pessoas, em empresas que não têm o melhor histórico quando se trata desse tipo de coisa. É fundamentalmente um nível de poder que nunca existiu antes, é tão simples.

Isso é um embrulho para ICML2025. Incrível ver o espaço passar de "Do que você está falando" para "Isso é impossível" para "Hmmm isso é muito interessante" em pouco mais de um ano. @tha_ajanthan @hmdolatabadi

Se você afirma ter visto isso chegando, é melhor ter o múltiplo P&L para apoiá-lo

Noam tende a não exagerar.

Concordo totalmente - Flower labs outro grupo publicando ativamente ótimas coisas e agora focado diretamente no treinamento descentralizado. Deve ser um ponto de dados importante para todos que ainda são céticos em relação à área - a equipe de flores é o mais legítima possível e Nic Lane está praticamente no topo do auge do Aprendizado Federado. Cada sinal para mim é que estamos prestes a testemunhar um enorme ponto de inflexão acadêmico nesta área no lado do ML. Na verdade, nem mesmo ao contrário, mudou disso para os primeiros dias do que vai se tornar um campo importante e muito impactante.

Pela minha experiência, conseguir que um artigo sobre DL descentralizado seja aceito em conferências de alto nível pode ser bastante difícil. A motivação não é familiar para muitos revisores, e as configurações padrão do experimento não levam em conta os problemas que você pretende resolver. Por isso, estou muito animado para ver empresas como @PluralisHQ e @PrimeIntellect investindo esforços para compartilhar seus resultados e publicá-los em grandes conferências! Na minha opinião, até mesmo preparar a submissão força você a ser mais rigoroso sobre seus experimentos + o feedback externo dos revisores ajuda a aprimorar a mensagem do artigo.

Pluralis + Prime Intellect + Ambient vira Ethereum até 2030

Sinto que os modelos de meta fechamento eram muito previsíveis. Eu disse explicitamente que isso aconteceria no ano passado e expliquei o porquê (de ).

Falei 50 minutos direto para uma sala lotada de pesquisadores de IA no ICML, apresentando trabalhos de @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ e @GoogleDeepMind. Existe agora um enorme interesse na DeAI. Missão (parcialmente) cumprida.