J'ai commencé la semaine dernière un cours pour nos étudiants en informatique sur les réseaux de neurones. Mon plan est de partir des classiques (McCulloch–Pitts, Rosenblatt), à travers les développements entourant tous les articles marquants, jusqu'à Attention Is All You Need. Nous construisons la compréhension à travers une analyse mathématique très détaillée des concepts, de nombreux expériences numériques, et une expérience pratique avec chaque notion que nous définissons. Je dois admettre que je ne m'attendais pas à m'amuser autant à manipuler les poids des réseaux, à intérioriser les principes fondamentaux, et à expérimenter simplement. J'ai déjà construit le premier lot de notes et d'applications pour le premier mois d'expériences. Les suggestions et idées sont les bienvenues. Je garderai mes notes ouvertes à tous, donc je suis curieux de savoir s'il y a des inexactitudes ou des points évidents que j'aurais pu manquer.