Tópicos em alta
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

samsja
Liderando a pesquisa na @PrimeIntellect
Open ai será lembrada como uma das empresas mais inspiradoras de todos os tempos

Noam Brown19 de jul., 15:52
Hoje, nós da @OpenAI alcançamos um marco que muitos consideraram a anos de distância: desempenho em nível de medalha de ouro no IMO de 2025 com um LLM de raciocínio geral - sob os mesmos limites de tempo que os humanos, sem ferramentas. Por mais notável que pareça, é ainda mais significativo do que a manchete 🧵
8,38K
Não vejo o sentido da base de código definir o tamanho do lote em um nível por GPU. Isso significa que é necessário alterar o parâmetro de tamanho do lote manualmente ao fazer o experimento de dimensionamento para cima/para baixo.
Acho que historicamente feito em base de código que não tem grad acc?
1,61K
samsja repostou
Se você está no ICML e interessado em inferência verificável, não deixe de visitar nosso pôster!
Apresentaremos o TOPLOC, um método de hash de ativação eficiente que funciona em uma variedade de configurações, por exemplo, alternando configurações de inferência ou até mesmo modelos.
16 de julho, 16h30, E-1106
1,41K
samsja repostou
Nova postagem no blog e nova biblioteca estão disponíveis agora!
O BP é sobre MaxSim, por que é *ordens de magnitude* muito mais exigente do que a similaridade normal de cosseno e por que as GPUs não se importam, mas as CPUs sim!
A biblioteca é maxsim-cpu, o que faz com que as CPUs possam ser rápidas e jogar com calma também.

16,92K
Curioso para tentar isso com diloco, ainda faria bs = 1 no otimizador interno e ainda obteria benefícios do paralelismo de dados

Micah Goldblum10 de jul., 22:12
🚨 Você sabia que o SGD básico de pequenos lotes sem impulso (ou seja, o primeiro otimizador que você aprende no ML de introdução) é praticamente tão rápido quanto o AdamW para pré-treinamento de LLM por FLOP? 📜 1/n

1,94K
Além disso, a antiguidade em engenharia é poder trabalhar com dívidas de tecnologia de outros

samsja5 de jul., 21:13
Opinião impopular, mas a dívida técnica é boa, é necessária para acelerar e reduzir o cronograma
2,34K
Melhores
Classificação
Favoritos
Em alta on-chain
Em alta no X
Principais fundos da atualidade
Mais notável