Я набагато більше схиляюся до того, щоб сказати, що RL *система* всередині OpenAI - це AGI, а не будь-яка фіксована модель контрольної точки, яка з неї виходить

На нашому заході в Берліні я зрозумів, що в Європі багато талановитих та амбітних молодих людей. Просто (майже) немає компанії, що надихає будувати майбутнє, і венчурних капіталістів, які мають м'ячі, щоб дати їм шанс. Не дивно, чому всі хочуть Приходьте в СФ|

Open AI запам'ятається як одна з найбільш надихаючих компаній усіх часів

Я не бачу сенсу в тому, щоб кодова база визначала розмір партії на рівні кожного графічного процесора. Це означає, що потрібно змінювати параметр розміру партії вручну під час експерименту з масштабуванням вгору/вниз. Я думаю, що історично це зроблено в кодовій базі, яка не має grad acc ?

Ми повинні більше турбуватися про те, щоб найняти всіх pytorch ppl, ніж про браконьєрство цукерів з відкритого штучного інтелекту

Якщо ви працюєте в ICML і зацікавлені в перевірених висновках, обов'язково завітайте до нашого плаката! Ми представимо TOPLOC, ефективний метод хешування активації, який працює в різних налаштуваннях, наприклад, при перемиканні налаштувань висновків або навіть моделях. 16 липня, 16:30, E-1106

Нова публікація в блозі та нова бібліотека вже вийшли! BP – це про MaxSim, про те, чому він на порядки набагато вимогливіший, ніж звичайна косинусна схожість, і чому графічним процесорам все одно, а процесорам байдуже! Бібліотека має назву maxsim-cpu, що робить її такою, що дозволяє процесорам бути швидкими та круто грати.

Абсолютна @kellerjordan0 перемоги

Цікаво спробувати це з diloco, все одно зробив би bs=1 на внутрішньому оптимізаторі і все ще отримував переваги паралелізму даних

Крім того, стаж роботи в інженерії – це вміння працювати з технічним боргом інших