Je suis beaucoup plus enclin à dire que le *système* RL à l'intérieur d'OpenAI est de l'AGI plutôt que n'importe quel point de contrôle de modèle fixe qui en sort.

J'ai réalisé lors de notre événement à Berlin qu'il y a beaucoup de jeunes talentueux et ambitieux en Europe. Juste (presque) aucune entreprise inspirante pour construire l'avenir ni de VC qui ont le courage de leur donner une chance. Pas étonnant que tout le monde veuille venir à sf|

Open AI sera rappelé comme l'une des entreprises les plus inspirantes de tous les temps.

Je ne vois pas l'intérêt de définir la taille de lot au niveau de chaque GPU dans le code. Cela signifie qu'il faut changer manuellement le paramètre de taille de lot lors de l'augmentation ou de la réduction de l'expérience. Je suppose que cela a été fait historiquement dans des bases de code qui n'ont pas d'accumulation de gradients ?

Nous devrions être plus inquiets que thinky recrute tous les gens de pytorch plutôt que zuck qui débauche chez open ai.

Si vous êtes à l'ICML et intéressé par l'inférence vérifiable, n'oubliez pas de passer voir notre affiche ! Nous présenterons TOPLOC, une méthode de hachage d'activation efficace qui fonctionne dans une variété de contextes, par exemple, en changeant les configurations d'inférence ou même les modèles. 16 juillet, 16h30, E-1106

Nouveau billet de blog et nouvelle bibliothèque sont maintenant disponibles ! Le BP concerne MaxSim, pourquoi c'est *des ordres de grandeur* beaucoup plus exigeant que la similarité cosinus normale, et pourquoi les GPU s'en fichent, mais les CPU s'en soucient ! La bibliothèque est maxsim-cpu, ce qui permet aux CPU d'être rapides et de rester cool, aussi.

victoire absolue @kellerjordan0

Curieux d'essayer cela avec diloco, je ferais toujours bs=1 sur l'optimiseur interne et je bénéficierais toujours des avantages du parallélisme des données.

la séniorité en ingénierie consiste également à être capable de travailler avec la dette technique des autres