15 posts sobre avaliações e benchmarking de IA:

@SentoraHQ e @FlareNetworks Project @Firelightfi atingiram o segundo limite de registro desde seu anúncio na segunda-feira. A comunidade XRP está pegando fogo! Obrigado pelo apoio. Agora todas as mãos no convés para o lançamento em algumas semanas.

🧠 Grok 4 by @xai está avançando nos benchmarks de raciocínio, mas a imagem é mais sutil do que as pontuações sugerem. Veja como ele se compara - e o que podemos realmente aprender com seus resultados 🧵 📊 Avaliação completa: 1️⃣ Pontuações do Grok 4: • Desafio de Raciocínio AI2 (Fácil): 98% • AIME 2025 (Matemática): 89% • Auditoria Contábil: 84% • MMLU-Plus: 64% • Data4Health: 55% Essas são pontuações de primeira linha - mas vamos ampliar o que está funcionando e o que ainda falha. 2️⃣ AIME 2025 ✅ Lida com álgebra, geometria, teoria dos números ✅ Segue as regras de formatação do LaTeX ❌ Luta com a lógica de várias etapas ❌ Erros em combinatória ❌ Problemas de precisão de formato (por exemplo, ° ausente) 3️⃣ Auditoria Contábil ✅ Forte em ética e relatórios ✅ Sólida compreensão dos princípios de auditoria ❌ Interpreta erroneamente procedimentos semelhantes ❌ Não consegue detectar diferenças sutis de resposta ❌ Dificuldade em aplicar a teoria a casos do mundo real 4️⃣ O verdadeiro insight? Mesmo um modelo com 98% em algumas tarefas pode falhar muito sob ambiguidade ou estresse de formatação. Benchmarks como AIME e Audit mostram como ele falha, não apenas o quanto ele pontua. 5️⃣ Por que isso importa: Precisamos de uma avaliação transparente por tarefa – não apenas de tabelas de classificação. #Grok4 é poderoso, mas ainda frágil em domínios de alto risco do mundo real. 🧪 Explore o detalhamento completo: #AI #LLMs #Benchmarking

7 dias até nossa lista de espera entrar no ar! Esteja entre os primeiros 1.000 a desbloquear vantagens de early adopter, alfa e recompensas de staking aumentadas. 👉 Inscreva-se em 14 de julho para staking líquido de nível institucional para $XRP.

Tentei delinear algumas ideias únicas neste: Transformadores de caixa de vidro: como os circuitos iluminam o funcionamento interno do aprendizado profundo,

Eu realmente gostei de escrever este :) A Engenharia de Sequência #676: Hacking com Gemini CLI

A pesquisa da Anthropic sobre "inferência confidencial" alimentada por TEE pode remodelar a Web3-AI. O cofundador da Sentora, @jrdothoughts, descompacta os detalhes aqui👇

Excelente análise sobre a recente mania de produtos de ações tokenizadas, concordo que esses não são bons produtos e, espero, a primeira iteração de algo útil que virá no futuro, quando modelos melhores forem desenvolvidos.

O Conhecimento de Sequência #675: Aprendendo a Avaliar IAs Multiagentes