pro vaši zábavu :)

Přidání pěkného způsobu, jak vizualizovat cíl PPO do knihy rlhf. Jádro pro policy-gradient je L~ R*A (R=policy ratio, A = výhoda). Dělejte dobré akce s větší pravděpodobností do určité míry. Snižte pravděpodobnost špatných činů až do určité míry. Min(...), & znaménko adv určují, která čára.

Jaká je další zeď, kterou lidé tvrdí, že je umělá inteligence? Nejdřív nám došla data, pak RL nechtěl zobecňovat mimo matematiku/kód, co bude dál? Jedinou skutečnou zdí se zdá být výpočetní dostupnost.

Cítím to stejně, ale hranice, kterou posouvám, je sdílena se všemi, nejen s několika velkými technologickými společnostmi.

Smyslem toho je vyhnout se psyops, ne odvádět pozornost od zřejmého, velkého technického úspěchu, no tak, fam, nejsem nenávistník AI tolik nenávistníků v odpovědích

Spousta lidí, se kterými jsem mluvil, si s tím Grok moc hlavu nedělá, protože vědí, že na modely Grok se vždy pár týdnů po vydání 🪦 💀 zapomene

Nepodlehnout nejasným příspěvkům OpenAI o novém zlatém modelu IMO s "univerzálním RL" a čemkoli dalším "průlomovým". Google také získal zlato IMO (těžší než zvládnutí AIME), ale pamatujte, že jednoduché nápady se nejlépe škálují.

Dosáhla OpenAI s tímto experimentálním modelem RL s velmi dlouhými epizodami? Snímek obrazovky z článku @natolambert na téma "Co bude dál s posilovaným učením". Nathan v tomto článku říká: Tam, kde současné metody generují 10K-100K tokenů na odpověď pro matematické nebo kódové problémy během tréninku, druh problémů, o kterých lidé diskutují při aplikaci tréninku RL nové generace, by byl 1M-100M tokenů na odpověď. To zahrnuje zabalení několika inferenčních volání, výzev a interakcí s prostředím v rámci jedné epizody, na základě které jsou zásady aktualizovány. Možná je tento průlom kombinací obojího - velmi dlouhé epizody RL a škálování TTC na 1M-100M tokenů na odpověď!

Je "špatné", že všichni destilují / trénují na čínských modelech? I když to není přímo špatné, je zde velká složka měkké síly. Mnoho dokončených textů o čínských socialistických ideálech / hodnotách ČLR, které se filtrují do budoucích modelů umělé inteligence / se šíří po celém internetu.

Hahahahahahaha, top modely US Open jsou Gemma 3 27b a @nvidia's finetune of Llama 3.1