Tämä on yksi OpenAI-tutkijan vuoden 2025 parhaista blogikirjoituksista @ShunyuYao12. "olemme tekoälyn puoliajalla," se on pelikirja siitä, mikä on tärkeintä tekoälytutkimuksessa ja startup-ekosysteemissä ja miten siihen voidaan valmistautua parhaiten. Vuosikymmenten ajan tekoälytutkimus keskittyi algoritmeihin ja uusiin malleihin vertailuarvojen voittamiseksi. mutta jokin tärkeä on muuttanut pelin: "RL vihdoin yleistää." toimiva "resepti": massiivinen kielen esikoulutus (aiemmat) + asteikko + päättely toimintana RL-silmukan sisällä. tämän vertailuarvon nousun tulos. Peli muuttuu: ongelmien ratkaisemisesta oikeiden ongelmien määrittelyyn. Arvioinnista tulee keskipiste. Keskeinen vertailukohta on nyt "hyödyllisyysongelma". Vertailuarvot eivät todellakaan sovellu hyvin todellisiin tehtäviin. Joten tämä on toisen puoliskon pelikirja: keksi arviointiasetukset, jotka on sidottu todelliseen hyödyllisyyteen; Käytä sitten reseptiä voittaaksesi näiden uusien sääntöjen mukaisesti. RL:ssä avainkolmikko on ympäristö, algoritmit ja priorit. Olemme viettäneet niin paljon aikaa parhaiden Algojen parissa, mutta Algot sopivat liikaa ympäristöön, jossa he ovat syntyneet. "Toisella puoliskolla" Arviointi = Ympäristösuunnittelu: Rakenna asetuksia lähemmäs todellisuutta (ihminen-silmukassa, ei-IID, peräkkäinen/muistilla) todellisen hyödyn lisäämiseksi, ei vain vertailuvoittojen saavuttamiseksi.