De man die mogelijk AI-afstemming kan OPLOSSEN 🦸‍♂️ Dr. Steven Byrnes (@steve47285) is een van de weinige mensen die zowel begrijpt waarom afstemming moeilijk is, als serieus technisch bezig is met het oplossen ervan. Hij heeft een enorme 90% P(Doom), maar stelt dat LLM's zullen afvlakken voordat ze echt gevaarlijk worden, en de echte bedreiging zal komen van de volgende generatie "breinachtige AGI" gebaseerd op actor-critic versterkingsleren. Na zijn PhD in de natuurkunde aan UC Berkeley en postdoc aan Harvard, werd hij een AGI-veiligheidsonderzoeker bij @AsteraInstitute. Hij is nu diep bezig met de neurowetenschap van het reverse-engineeren van hoe menselijke hersenen daadwerkelijk werken, kennis die ons plausibel zou kunnen helpen het technische AI-afstemmingsprobleem op te lossen. In deze ongewoon diepe aflevering — omdat ik, met alle respect voor mijn andere gasten, geen tijd hoefde te verspillen aan het discussiëren met hem over voor de hand liggende oppervlakkige kwesties — praten we over zijn "twee subsysteem" model van de hersenen, waarom huidige AI-veiligheidsbenaderingen de plank misslaan, zijn onenigheden met sociale evolutiebenaderingen, en waarom het begrijpen van menselijke neurowetenschap belangrijk is voor het bouwen van afgestemde AGI.