Rozpocząłem w zeszłym tygodniu kurs dla naszych studentów informatyki na temat sieci neuronowych. Mój plan to przejść od wczesnych klasyków (McCulloch–Pitts, Rosenblatt), przez rozwój związany ze wszystkimi przełomowymi pracami, aż do Attention Is All You Need. Budujemy zrozumienie poprzez bardzo szczegółową analizę matematyczną koncepcji, wiele eksperymentów numerycznych i praktyczne doświadczenie z każdą definicją, którą wprowadzamy. Muszę przyznać, że nie spodziewałem się, że tak dużo frajdy sprawi mi majstrowanie przy wagach sieci, internalizowanie podstawowych zasad i po prostu czyste eksperymentowanie. Już stworzyłem pierwszą partię notatek i aplikacji na pierwszy miesiąc eksperymentów. Sugestie i pomysły są bardzo mile widziane. Będę trzymał moje notatki otwarte dla wszystkich, więc jestem ciekaw, czy są jakieś nieścisłości lub oczywiste punkty, które mogłem przeoczyć.