15 postări despre evaluările și benchmarking-ul AI:

@SentoraHQ și @FlareNetworks Project @Firelightfi atins al doilea plafon de înregistrare de la anunțul său de luni. Comunitatea XRP este în flăcări! Mulțumesc pentru sprijin. Acum toate mâinile pe punte spre lansare în câteva săptămâni.

🧠 Grok 4 de @xai face pași în reperele de raționament, dar imaginea este mai nuanțată decât sugerează scorurile. Iată cum se compară și ce putem învăța cu adevărat din rezultatele 🧵 sale 📊 Evaluare completă: 1️⃣ Scoruri Grok 4: • Provocarea raționamentului AI2 (ușor): 98% • AIME 2025 (matematică): 89% • Audit contabil: 84% • MMLU-Plus: 64% • Data4Health: 55% Acestea sunt scoruri de top - dar să mărim ce funcționează și ce încă eșuează. 2️⃣ AIME 2025 ✅ Se ocupă de algebră, geometrie, teoria numerelor ✅ Respectă regulile de formatare LaTeX ❌ Se luptă cu logica în mai mulți pași ❌ Erori în combinatorică ❌ Probleme de precizie a formatului (de exemplu, lipsă °) 3️⃣ Audit contabil ✅ Puternic în etică și raportare ✅ Înțelegere solidă a principiilor de audit ❌ Interpretează greșit proceduri similare ❌ Nu reușește să identifice diferențele subtile de răspuns ❌ Sunt greu să aplicăm teoria la cazuri din lumea reală 4️⃣ Adevărata perspectivă? Chiar și un model cu 98% pe unele sarcini poate eșua greu din cauza ambiguității sau a stresului de formatare. Benchmark-uri precum AIME și Audit arată cum eșuează, nu doar cât de mult punctează. 5️⃣ De ce contează acest lucru: Avem nevoie de o evaluare transparentă, pe sarcină - nu doar de clasamente. #Grok4 este puternică, dar totuși fragilă în domenii cu mize mari, din lumea reală. 🧪 Explorați defalcarea completă: #AI #LLMs #Benchmarking

7 zile până când lista noastră de așteptare va fi LIVE! Fii printre primii 1.000 care deblochează avantaje, alfa și recompense de miză sporite. 👉 Înscrieți-vă pe 14 iulie pentru miză lichidă de nivel instituțional pentru $XRP.

Am încercat să conturez câteva idei unice în acesta: Transformatoare de cutie de sticlă: Cum circuitele iluminează funcționarea internă a învățării profunde,

Mi-a plăcut foarte mult să scriu acest :) Ingineria secvențelor #676: Hacking cu Gemini CLI

Cercetarea Anthropic privind "inferența confidențială" bazată pe TEE ar putea remodela Web3-AI. Co-fondatorul Sentora, @jrdothoughts dezvăluie detaliile aici👇

Sunt de acord că acestea nu sunt produse bune și, sperăm, prima iterație a ceva util care va veni în viitor, când vor fi dezvoltate modele mai bune.

Cunoștințele secvențiale #675: Învățarea evaluării AI-urilor multi-agent