Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Benieuwd om dit met diloco te proberen, zou nog steeds bs=1 doen op de inner optimizer en nog steeds profiteren van data parallelisme.
10 jul, 22:12
🚨 Wist je dat small-batch vanilla SGD zonder momentum (d.w.z. de eerste optimizer waar je over leert in inleiding ML) vrijwel net zo snel is als AdamW voor LLM-pretraining op basis van per-FLOP? 📜 1/n
1,91K
Boven
Positie
Favorieten