Mudanças algorítmicas como o GSPO para o Qwen são principalmente um reflexo de necessidades sutis diferentes de uma nova combinação de modelo base - conjunto de dados RL, em vez de serem uma grande inovação nos fundamentos. Infraestrutura e dados importam muito mais do que pequenas alterações no algoritmo RL.

Alguém tem um link para o recente post no blog que detalha os detalhes arquitetônicos entre Llama, Qwen, Deepseek, Kimi, etc.? Esqueci-me de o adicionar aos favoritos :(

Não sei qual lobby está por trás da rebranding de aprendizagem contínua como aprendizagem contínua, mas não gosto disso.

O ASI não encontrará de forma preventiva todos os problemas numéricos que surgem no seu treinamento.

Os dados na internet após o GPT tornaram-se ainda mais radioativos.

Conseguimos uma performance de medalha de ouro na Olimpíada Internacional de Matemática 🥇 🥳 Este é o primeiro sistema de propósito geral a fazê-lo através de participação e avaliação oficiais, e estou entusiasmado por ter contribuído um pouco para este marco no raciocínio matemático 🌈🫶

Tem um doutoramento (ou equivalente) ou terá um nos próximos meses (ou seja, a 2-3 meses de se formar)? Quer ajudar a construir agentes abertos que ajudem os humanos a fazer coisas humanas melhor, em vez de os substituir? Estamos a contratar 1-2 Cientistas de Pesquisa! Veja o 🧵👇

Uma palestra convidada de @MatharyCharles sobre DiLoCo!

Fico enjoado facilmente. Adoro a Waymo porque são suaves. Mas eles provavelmente são avessos ao risco. Uma vez que a condução autónoma atinja o nível de ASI, eles priorizarão a velocidade para a rentabilidade, e eu voltarei a ficar enjoado.

A nossa apresentação oral é amanhã às 14:40 PDT durante o Workshop sobre Agentes de Uso de Computador da @icmlconf (Sala de Reuniões Oeste 211–214)! Vai assistir virtualmente? Link do Zoom e detalhes aqui: