eu ainda não ouvi falar, mas a IA basicamente matou hackathons. praticamente qualquer coisa que você possa fazer em um hackathon em 2019 pode ser construída melhor e mais rapidamente pela IA em 2025

isso é um código ruim, certo?

Provavelmente 10x mais pessoas deveriam estar trabalhando na otimização imediata sistemas (precisamos de um vLLM para promptopt), teoria, novas técnicas, benchmarks. todo o kit e caboodle

Aqui estão alguns alfas gratuitos: se fizermos RL por muito tempo após o pré-treinamento, certamente substituiremos os parâmetros e começaremos a esquecer as coisas no artigo original do instructGPT, seu melhor modelo misturou RLHF com gradientes de pré-treinamento para evitar exatamente esse problema de desvio do modelo No entanto, ninguém está mais fazendo isso. claro, é uma instanciação particular (mistura de gradiente) de uma ideia mais ampla (evitando o esquecimento), mas parece uma linha de pensamento muito negligenciada à medida que fazemos mais e mais etapas de RL por exemplo, veja o recente artigo do ProRL. eles estão fazendo mais de 1000 etapas do GRPO agora com uma taxa de aprendizado não trivial e sem penalidade por se desviar do modelo original. Os circuitos construídos dentro do modelo durante o pré-treinamento certamente estão começando a se deteriorar. e se não, eles o farão após 10k ou 100k RL passos Suspeito que essa ideia voltará eventualmente; Eles provavelmente já estão fazendo isso nos grandes laboratórios

Estou procurando bons exemplos de generalização do modelo de raciocínio por exemplo, um modelo incentivado via RL a pensar um pouco e resolver problemas matemáticos fica melhor na escrita criativa Isso é comum?

Isso parece muito importante: é totalmente plausível que um modelo possa obter ouro IMO sem *qualquer* aprendizado por reforço, dado um prompt perfeitamente elaborado simplesmente não sabemos e não temos ferramentas para pesquisar com eficiência no espaço de prompt. fico feliz em ver que pelo menos alguém está tentando

você não pode inventar essas coisas

situação hipotética - Eu sou uma empresa de IA que reduziu o custo de transferência e armazenamento de modelos a zero. Posso servir a cada usuário seu próprio modelo sem sobrecarga O que eu faço? diretamente SFT modelos específicos do usuário em seus dados? ou RLHF nas classificações de bate-papo? outra coisa?

O cérebro humano reserva 40% de seu processamento exclusivamente para a visão. os LLMs modernos de alguma forma evoluíram sem isso inteiramente

Esse cara que eu conheço (supostamente) envenenou o corpus global de dados de treinamento de IA com cargas úteis de jailbreak adormecidas ativadas por gatilho de autopropagação