Isso é tudo para o ICML2025. Incrível ver o espaço passar de "Do que você está falando" para "Isso é impossível" para "Hmmm, isso é muito interessante" em pouco mais de um ano. @tha_ajanthan @hmdolatabadi

Se você afirma ter visto isso chegando, é melhor ter o manifold P&L para comprovar.

Noam tende a não exagerar.

Concordo totalmente - Flower labs é outro grupo que está a publicar coisas excelentes e agora está totalmente focado em formação descentralizada. Deve ser um ponto de dados importante para todos que ainda são céticos nesta área - a equipa da flower é tão legítima quanto se pode imaginar e Nic Lane é praticamente o topo da pirâmide em Aprendizagem Federada. Cada sinal para mim indica que estamos prestes a testemunhar um enorme ponto de viragem académico nesta área do lado do ML. Já não é realmente contrariano, passou de isso para ser claramente os primeiros dias do que se tornará um campo importante e muito impactante.

Com a minha experiência, conseguir que um artigo sobre DL descentralizado seja aceito em conferências de alto nível pode ser bastante difícil. A motivação não é familiar para muitos revisores, e as configurações experimentais padrão não levam em conta os problemas que você pretende resolver. Portanto, estou muito entusiasmado em ver empresas como @PluralisHQ e @PrimeIntellect a investir o esforço para compartilhar os seus resultados e publicá-los em grandes conferências! Na minha opinião, até preparar a submissão obriga você a ser mais rigoroso em relação aos seus experimentos + o feedback externo dos revisores ajuda a afinar a mensagem do artigo.

Pluralis + Prime Intellect + Ambient inverte Ethereum até 2030

Sinto que o encerramento dos modelos meta foi muito previsível. Eu disse explicitamente que isso aconteceria no ano passado e expliquei porquê (de ).

Falei 50 minutos seguidos para uma sala cheia de pesquisadores de IA entusiasmados na ICML, apresentando trabalhos de @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ e @GoogleDeepMind. Agora há um enorme interesse em DeAI. Missão (Parcialmente) Cumprida.

Para pessoas que não estão familiarizadas com a publicação em IA; existem 3 principais conferências todos os anos. ICML, ICLR e NeurIPS. Estas são conferências técnicas e o equivalente a revistas em outras disciplinas - são o principal local de publicação para IA. A competição para ter artigos aceites nessas conferências está agora em um nível ridículo, conseguir que os artigos sejam aceites é muito difícil, e há muita preocupação com o processo de revisão, que está bastante barulhento neste momento. Um artigo forte, sem falhas, tem cerca de 50% de chance de ser aceito, e tipicamente um artigo é submetido com alterações dos revisores várias vezes até ser aceito. Apesar de tudo isso, os artigos nesses locais continuam a ser o principal selo de legitimidade no mundo da IA, e provavelmente ainda são as principais métricas de carreira para pesquisadores de ML (embora isso esteja a enfraquecer na minha opinião, já que grande parte da pesquisa nos laboratórios de fronteira não é publicada). Os artigos da Main Track são significativamente diferentes dos artigos de workshop. A main track tem uma revisão por pares intensa e séria. Os artigos de workshop são para trabalhos preliminares, que dão alguma indicação de um resultado interessante, mas que estão incompletos ou o resultado não é significativo o suficiente para a main track. Eles só precisam ser revisados pelo grupo de revisores do workshop e não aparecem nos anais. Muitos grandes artigos apareceram pela primeira vez em workshops (por exemplo, grokking) - mas os artigos de workshop e da main track são coisas fundamentalmente diferentes, com um nível de impacto fundamentalmente diferente. As únicas duas empresas em IA descentralizada que têm artigos da main track este ano são @PrimeIntellect e Pluralis.

Usando belos painéis do Grafana para tudo internamente, é muito mais agradável do que o Tensorboard. O Wandb ainda é bom, mas não funciona realmente com treinamento descentralizado. Isso me faz perguntar como são as ferramentas de visualização internas na OpenAI - devem ser incríveis.