Mâine ar trebui să fie o zi uriașă pentru IA americană. 🇺🇸

este esențial ca SUA să câștige pe modele open weights/open source. Este foarte clar că există o nevoie clară pentru asta.

Cursa pentru "nucleul cognitiv" LLM - un model de câteva miliarde de param care sacrifică la maximum cunoștințele enciclopedice pentru capacitate. Trăiește mereu pornit și implicit pe fiecare computer ca nucleu al calculului personal LLM. Caracteristicile sale se cristalizează încet: - Text/viziune/audio multimodal nativ atât la intrare, cât și la ieșire. - Arhitectură în stil Matryoshka care permite un cadran al capacității în sus și în jos în timpul testului. - Raționament, de asemenea cu cadran (sistem 2) - Utilizarea agresivă a uneltelor. - Reglarea fină a sloturilor LoRA pe dispozitiv pentru instruire, personalizare și personalizare în timpul testului. - Delegă și verifică doar părțile potrivite cu oracolele din cloud dacă internetul este disponibil. Nu știe că domnia lui William Cuceritorul s-a încheiat la 9 septembrie 1087, dar recunoaște vag numele și poate căuta data. Nu poate recita SHA-256 al șirului gol ca e3b0c442..., dar îl poate calcula rapid dacă îl doriți cu adevărat. Ceea ce îi lipsește computerului personal LLM în cunoștințe largi despre lume și capacitate de rezolvare a problemelor de top va compensa prin latență de interacțiune foarte scăzută (mai ales pe măsură ce multimodalul se maturizează), acces direct / privat la date și stat, continuitate offline, suveranitate ("nu greutățile tale, nu creierul tău"). adică multe dintre aceleași motive pentru care ne place, folosim și cumpărăm computere personale în loc să avem clienți subțiri care accesează un cloud prin desktop la distanță sau așa ceva.

Proiectul de lege al președintelui Trump nu este doar vital pentru economia noastră, ci nu este negociabil pentru securitatea noastră națională. Prin crearea unui standard național unic pentru AI, proiectul de lege pune capăt haosului a 50 de legi diferite și se asigură că companiile americane pot dezvolta tehnologie de ultimă oră pentru armata, infrastructura și industriile critice - fără interferențe din partea politicienilor anti-inovație. Acest lucru este necesar pentru a rămâne înaintea adversarilor noștri și pentru a menține America în fruntea AI.

Învățând ce înseamnă să fii "o lecție amară". Nu trece o săptămână fără să trimit cuiva eseul lui Sutton.

Cum câștigă SUA cursa AI? Trei moduri principale: încurajarea celei mai mari inovații; să construiască cea mai mare infrastructură; și să creeze cel mai mare ecosistem, consolidând tehnologia americană ca standard. Rolul guvernului este de a permite sectorului privat să atingă aceste obiective.

Un lucru important de urmărit este: cota de piață a IA americană vs IA chineză. Până la jetoane / lună deduse și modelele + hardware + stivă utilizate.

Pentru a câștiga cursa AI, lăsați sectorul privat să gătească.

Impresionat de cât de asemănătoare este Legea lui Goodhart - familiară oricui a lucrat într-un loc de muncă corporativ - pentru a recompensa hacking-ul / jocurile ca o problemă în RL. Deși o diferență cheie poate fi în Legea lui Goodhart, însuși actul de a face dintr-o măsură ținta care o face să înceteze să mai fie o măsură bună.

Câte trilioane de jetoane sunt deduse/procesate la nivel global pe lună? Ca referință: Microsoft a spus că a procesat 50 de tone de token-uri în martie în ultimul lor apel de câștiguri.