Ještě jsem o tom neslyšel diskutovat, ale umělá inteligence v podstatě zabila hackathony. v podstatě cokoli, co byste mohli udělat na hackathonu v roce 2019, může umělá inteligence v roce 2025 vytvořit lépe a rychleji

To je špatný kód, že?

Na optimalizaci promptu by mělo pracovat asi 10x více lidí systémy (pro promptopt potřebujeme vLLM), teorie, nové techniky, benchmarky. celá sada a caboodle

Zde je několik bezplatných alfaverzí: pokud budeme RL po předtréninku dělat příliš dlouho, určitě přepíšeme parametry a začneme na věci zapomínat v původním článku instructGPT jejich nejlepší model smíchal RLHF s předtrénovacími gradienty, aby se vyhnul přesně tomuto problému s driftem modelu A přesto to už nikdo nedělá. jistě, je to jedna konkrétní instance (gradientní míchání) širší myšlenky (vyhýbání se zapomínání), ale zdá se to jako velmi přehlížená linie myšlení, jak děláme další a další kroky RL viz například nedávný článek ProRL. nyní dělají více než 1000 kroků GRPO s netriviální rychlostí učení a bez penalizace za odchýlení se od původního modelu. Obvody zabudované uvnitř modelu během předtréninku se jistě začínají rozpadat. a pokud ne, budou po 10k nebo 100k RL krocích Mám podezření, že se tato myšlenka nakonec vrátí; Pravděpodobně to již dělají ve velkých laboratořích

Hledám dobré příklady zobecnění modelu uvažování například model motivovaný prostřednictvím RL k tomu, aby chvíli přemýšlel a řešil matematické problémy, se zlepší v tvůrčím psaní Je to běžné?

To se zdá být opravdu důležité: je zcela pravděpodobné, že model by mohl získat zlato IMO bez *jakéhokoliv* zpětnovazebního učení, vzhledem k perfektně vytvořenému podnětu Prostě nevíme a chybí nám nástroje pro efektivní prohledávání promptního prostoru. Jsem rád, že se alespoň někdo snaží

Tyhle věci si nemůžete vymyslet

hypotetická situace - Jsem společnost zabývající se umělou inteligencí, která snížila náklady na přenos a ukládání modelů na nulu. Mohu každému uživateli poskytnout jeho vlastní model bez režie Co mám dělat? přímo SFT uživatelsky specifické modely na jejich datech? nebo RLHF na hodnocení chatu? Něco jiného?

Lidský mozek si vyhrazuje 40 % svého zpracování výhradně pro zrak. moderní LLM se nějak vyvinuly zcela bez toho

Tenhle chlápek, kterého znám, (údajně) otrávil globální korpus tréninkových dat umělé inteligence samovolně se šířícími spící jailbreaky aktivovanými spouštěmi