Tópicos em alta
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Arvind Narayanan
Princeton CS prof. Diretor @PrincetonCITP. Eu uso o X para compartilhar minha pesquisa e comentários sobre o impacto social da IA.
LIVRO: Óleo de cobra AI. Vistas minhas.
Minha experiência com o ChatGPT Agent até agora: não consegui encontrar nenhum caso de uso que _não possa_ ser tratado pela Deep Research e ainda assim possa ser concluído com sucesso pelo Agent sem encontrar nenhum obstáculo, como formulários da web instáveis ou restrições de acesso.
Tenho certeza de que encontrarei alguns usos, mas acabará sendo uma pequena fração das tarefas que surgem em meus fluxos de trabalho.
Se for esse o caso, não fará sentido tentar fazer novas tarefas usando o Agente, a menos que seja uma tarefa na qual eu gastaria horas (ou precisaria repetir diariamente). Se minha expectativa é que o Agente terá sucesso com uma probabilidade de 5%, e leva de 10 a 20 minutos tentando dolorosamente antes de desistir, não vale a pena descobrir se o Agente pode fazer isso. Eu só o usaria se de alguma forma já soubesse que é uma tarefa que o Agente pode realizar.
Diante de tudo isso, continuo pensando que os agentes específicos da tarefa serão mais bem-sucedidos no futuro próximo.
5,84K
Arvind Narayanan repostou
🧠Novidade no blog do CITP do estudante de doutorado Boyi Wei (@wei_boyi) do POLARIS Lab: "A 'bolha' de risco: melhorando as avaliações para agentes ofensivos de segurança cibernética"
Leia sobre como os adversários podem adaptar e modificar modelos de código aberto para contornar as proteções. 👇
2,99K
De volta à pós-graduação, quando percebi como o "mercado de ideias" realmente funciona, parecia que havia encontrado os códigos de trapaça para uma carreira de pesquisa. Hoje, essa é a coisa mais importante que ensino aos alunos, mais do que qualquer coisa relacionada à substância de nossa pesquisa.
Um prefácio rápido: quando falo sobre sucesso de pesquisa, não me refiro à publicação de muitos artigos. A maioria dos artigos publicados acumula poeira porque há muita pesquisa em qualquer campo para as pessoas prestarem atenção. E especialmente dada a facilidade de publicar pré-impressões, a pesquisa não precisa ser publicada oficialmente para ser bem-sucedida. Portanto, embora as publicações possam ser um pré-requisito para o avanço na carreira, elas não devem ser o objetivo. Para mim, o sucesso da pesquisa é a autoria de ideias que influenciam seus colegas e tornam o mundo um lugar melhor.
Portanto, o insight básico é que há muitas ideias entrando no mercado de ideias e precisamos entender quais acabam sendo influentes. A boa notícia é que a qualidade é importante - outras coisas sendo iguais, uma pesquisa melhor será mais bem-sucedida. A má notícia é que a qualidade está apenas fracamente correlacionada com o sucesso, e há muitos outros fatores que importam.
Primeiro, dê a si mesmo vários chutes a gol. O papel da sorte é um tema regular dos meus conselhos de carreira. É verdade que a sorte é muito importante para determinar quais artigos são bem-sucedidos, mas isso não significa se resignar a isso. Você pode aumentar sua "área de superfície da sorte".
Por exemplo, se você sempre publica preprints, tem várias chances de seu trabalho ser notado: uma vez com o preprint e uma vez com a publicação (além disso, se você estiver em um campo com grandes atrasos de publicação, você pode garantir que a pesquisa não seja furada ou irrelevante no momento em que for lançada).
De forma mais geral, trate os projetos de pesquisa como startups – aceite que há uma variação muito alta nos resultados, com alguns projetos sendo 10 ou 100 vezes mais bem-sucedidos do que outros. Isso significa tentar muitas coisas diferentes, dar grandes oscilações, estar disposto a perseguir o que seus colegas consideram más ideias, mas com alguma ideia de por que você pode ter sucesso onde outros antes de você falharam. Você sabe algo que os outros não sabem, ou eles sabem algo que você não sabe? E se você descobrir que é o último, você precisa estar disposto a desistir do projeto rapidamente, sem ser vítima da falácia do custo irrecuperável.
Para ser claro, o sucesso não se resume apenas à sorte – qualidade e profundidade são muito importantes. E são necessários alguns anos de pesquisa para se aprofundar em um tópico. Mas passar alguns anos pesquisando um tópico antes de publicar qualquer coisa é extremamente arriscado, especialmente no início de sua carreira. A solução é simples: perseguir projetos, não problemas.
Os projetos são agendas de pesquisa de longo prazo que duram de 3 a 5 anos ou mais. Um projeto produtivo poderia facilmente produzir uma dúzia ou mais de artigos (dependendo do campo). Por que escolher projetos em vez de problemas? Se o seu método é pular de problema em problema, os artigos resultantes provavelmente serão um pouco superficiais e podem não ter muito impacto. E em segundo lugar, se você já é conhecido por artigos sobre um tópico específico, é mais provável que as pessoas prestem atenção aos seus futuros artigos sobre esse tópico. (Sim, a reputação do autor é muito importante. Qualquer noção igualitária de como as pessoas escolhem o que ler é um mito.)
Para recapitular, costumo trabalhar em 2-3 projetos de longo prazo por vez e, dentro de cada projeto, há muitos problemas sendo investigados e muitos artigos sendo produzidos em vários estágios do pipeline.
A parte mais difícil é saber quando terminar um projeto. No momento em que você está considerando um novo projeto, você está comparando algo que levará alguns anos para realmente se concretizar com um tópico em que você já é altamente produtivo. Mas você tem que acabar com algo para abrir espaço para algo novo. Desistir na hora certa sempre parece desistir cedo demais. Se você seguir seu instinto, permanecerá na mesma área de pesquisa por muito tempo.
Por fim, crie sua própria distribuição. No passado, a publicação oficial de um artigo servia a dois propósitos: dar-lhe a credibilidade que vem da revisão por pares e distribuir o artigo aos seus pares. Agora, essas duas funções foram completamente cortadas. A publicação ainda traz credibilidade, mas a distribuição depende quase inteiramente de você!
É por isso que a mídia social é tão importante. Infelizmente, a mídia social introduz incentivos prejudiciais para exagerar suas descobertas, então acho que blogs / boletins informativos e vídeos longos são canais muito melhores. Estamos em uma segunda era de ouro dos blogs e há uma extrema escassez de pessoas que possam explicar pesquisas de ponta de suas disciplinas de maneira acessível, mas sem emburrecê-las como em comunicados à imprensa ou artigos de notícias. Nunca é cedo demais - comecei um blog durante meu doutorado e ele desempenhou um grande papel na divulgação de minha pesquisa de doutorado, tanto dentro quanto fora da minha comunidade de pesquisa.
Resumo
* O sucesso da pesquisa não significa apenas publicação
* O mercado de ideias está saturado
* Dê a si mesmo vários chutes a gol
* Escolha projetos, não problemas
* Trate os projetos como startups
* Construa sua própria distribuição
39,63K
Arvind Narayanan repostou
Especialistas em transtorno dismórfico corporal alertaram que as pessoas que lutam contra isso se tornaram cada vez mais dependentes de chatbots de IA para avaliar suas falhas autopercebidas e recomendar cirurgias estéticas. "Está quase surgindo em todas as sessões", diz um terapeuta.

106,83K
Se comparássemos os recursos de IA com humanos sem acesso a ferramentas, como a internet, provavelmente descobriríamos que a IA já superou os humanos em muitas ou na maioria das tarefas cognitivas que realizamos no trabalho. Mas é claro que essa não é uma comparação útil e não nos diz muito sobre os impactos econômicos da IA. Não somos nada sem nossas ferramentas.
E, no entanto, muitas previsões sobre o impacto da "AGI" são baseadas em comparações hipotéticas entre humanos e IA, nas quais os humanos têm acesso à Internet, mas não têm acesso à IA. Esse tipo de comparação é igualmente irrelevante.
A verdadeira questão é humanos + IA vs IA sozinhos. Em tal comparação, a IA não vai superar os pares humano-IA, exceto em domínios estreitos e computacionalmente pesados, como jogos em que a velocidade é primordial e ter um humano na imagem apenas retarda as coisas.
Portanto, se a IA substituirá ou não os humanos se resume a fatores além da precisão – coisas como responsabilidade, capacidade de lidar com incógnitas desconhecidas e preferências potenciais de clientes e outros trabalhadores para interagir com um humano, tudo comparado ao custo de empregar um humano.
Isso não quer dizer que a IA não substituirá empregos. Mas olhar para os benchmarks de capacidade e ir direto para as alegações sobre a perda de emprego é completamente ingênuo.
* Existem muitos estudos em que os trabalhadores substituem incorretamente a IA com muita frequência, mas isso ocorre porque eles não receberam treinamento sobre quando substituir e quando não, o que é uma habilidade essencial em fluxos de trabalho habilitados para IA.
12,63K
Arvind Narayanan repostou
SB1047 foi uma má ideia. Mas o último SB53 do senador Wiener está no caminho certo e é importante chamar a atenção para o progresso. Aqui está o meu raciocínio.
Minha abordagem para regular novas tecnologias como modelos é: não sabemos como definir "boa" mitigação e garantia, mas saberemos quando - e se - as virmos.
Existem duas implicações.
#1. Não devemos prescrever limites de risco ou padrões de atendimento para o desenvolvimento de modelos. Não podemos concordar sobre os riscos que importam, como medi-los ou quanto é demais. A única orientação para desenvolvedores, reguladores e tribunais é um conjunto de práticas nascentes determinadas principalmente por empresas de código fechado que dependem de paywalls para fazer o trabalho pesado. Isso poderia esfriar a inovação aberta, expondo os desenvolvedores a uma responsabilidade vaga ou aumentada pelo lançamento generalizado.
Esse foi o SB1047 em poucas palavras, junto com ~ 5 equivalentes que inspirou nos EUA nesta sessão, como o RAISE Act em NY. Devemos evitar essa abordagem. Essas propostas estão - em aspectos estreitos, mas cruciais - muito além de seus esquis.
E ainda:
#2. Precisamos esclarecer as práticas do setor para entender melhor a diligência, ou a falta dela, aplicada por diferentes empresas. Se os desenvolvedores tiverem que se comprometer com uma política de segurança e proteção, mostrar seu trabalho e deixar um rastro de papel, podemos avaliar melhor a força de suas reivindicações, monitorar riscos emergentes e decidir sobre intervenções futuras.
Essa é a Lei de IA da UE e o Código de Prática final em poucas palavras, que tanto a OpenAI quanto a Mistral endossaram, e também é a versão mais recente do SB53 da @Scott_Wiener.
Se vamos regular o desenvolvimento de modelos, essa é fundamentalmente a melhor abordagem: regular a transparência – não capacidades, mitigações ou riscos aceitáveis. Isso daria a pelo menos uma jurisdição dos EUA a autoridade de supervisão de Bruxelas e evitaria efeitos não intencionais no desenvolvimento aberto.
Para ser claro, ainda há icebergs pela frente:
> Complexidade. Big Tech ou não, essas são obrigações onerosas de documentação e relatórios. Taticamente falando, quanto mais complexo, mais vulnerável esse projeto de lei se tornará.
> Incentivos. A divulgação pública obrigatória de avaliações de risco voluntárias cria um incentivo perverso para que os desenvolvedores testem seus modelos e fechem os olhos para riscos difíceis. Permitir que os desenvolvedores divulguem seus resultados a auditores ou agências, em vez de publicamente, pode ajudar a promover uma maior franqueza em suas avaliações internas.
> cavalo de Tróia. A cultura hiperativa de intestino e emenda da Califórnia pode dificultar a verificação desses projetos de lei. Se o SB53 se transformar em um projeto de lei padrão de atendimento como SB1047 ou RAISE, ele deve ser rejeitado pelos mesmos motivos de antes. Quanto mais enfeites forem adicionados a esta árvore de Natal, mais controverso será o projeto de lei.
> largura. O projeto de lei lança uma ampla rede com definições expansivas de risco catastrófico e capacidade perigosa. Para um projeto de lei de "relatórios obrigatórios / práticas voluntárias", eles funcionam. Se esse projeto de lei fosse um projeto de lei padrão de atendimento, eles seriam inviáveis.
Em suma: tiro o chapéu para o senador Wiener por se envolver e responder cuidadosamente ao feedback no ano passado. É revigorante ver um projeto de lei que realmente se baseia em críticas anteriores. Ainda existem muitos caminhos que esse projeto de lei pode seguir - e ele evoluiu muito além da proposta original de denúncia - mas a trajetória é promissora.

5,98K
Arvind Narayanan repostou
Para as pessoas que se perguntam o que está acontecendo aqui tecnicamente, um explicador:
Quando há muitos dados de treinamento com um estilo específico, usar um estilo semelhante em seu prompt acionará o LLM para responder nesse estilo. Neste caso, há MUITAS fanfics:
🧵
180,24K
Arvind Narayanan repostou
Novo Post: Delírios de Datacenter
Entre as potências médias, os Emirados Árabes Unidos têm a estratégia de IA mais clara: tornar-se um "estado de petróleo de IA" com participação significativa na computação global. A maioria dos outros países está construindo datacenters sem atingir limites de soberania viáveis.
🧵

10,02K
Melhores
Classificação
Favoritos
Em alta on-chain
Em alta no X
Principais fundos da atualidade
Mais notável