Zdecydowanie bardziej skłaniam się do stwierdzenia, że system RL wewnątrz OpenAI to AGI, a nie jakikolwiek stały punkt kontrolny, który z niego wychodzi.

Zdałem sobie sprawę na naszym wydarzeniu w Berlinie, że w Europie jest wielu utalentowanych i ambitnych młodych ludzi. Po prostu (prawie) nie ma inspirujących firm, które mogłyby budować przyszłość, ani VC, które miałyby odwagę dać im szansę. Nie ma się co dziwić, że wszyscy chcą przyjechać do sf|

Open AI będzie zapamiętane jako jedna z najbardziej inspirujących firm wszech czasów.

Nie widzę sensu w definiowaniu rozmiaru partii w kodzie na poziomie każdego GPU. Oznacza to, że trzeba ręcznie zmieniać parametr rozmiaru partii podczas skalowania eksperymentu w górę/w dół. Przypuszczam, że historycznie było to robione w kodzie, który nie ma akumulacji gradientów?

Powinniśmy być bardziej zaniepokojeni tym, że thinky zatrudnia wszystkich ludzi od pytorch, niż tym, że zuck rekrutuje z open ai.

Jeśli jesteś na ICML i interesujesz się weryfikowalnym wnioskowaniem, koniecznie wpadnij na nasz plakat! Przedstawimy TOPLOC, efektywną metodę haszowania aktywacji, która działa w różnych ustawieniach, np. w przypadku zmiany konfiguracji wnioskowania lub nawet modeli. 16 lipca, godz. 16:30, E-1106

Nowy post na blogu i nowa biblioteka są już dostępne! Post dotyczy MaxSim, dlaczego jest *rzędy wielkości* znacznie bardziej wymagający niż normalna podobieństwo cosinusowe, i dlaczego GPU nie mają z tym problemu, ale CPU tak! Biblioteka to maxsim-cpu, która sprawia, że CPU mogą być szybkie i zachowywać spokój.

absolutne @kellerjordan0 zwycięstwo

Ciekawy, aby spróbować tego z diloco, nadal ustawiłbym bs=1 w wewnętrznym optymalizatorze i nadal uzyskałbym korzyści z równoległości danych.

seniority w inżynierii polega również na umiejętności pracy z długiem technologicznym innych