É exatamente por isso que pipelines com intervenção humana são necessárias para o futuro previsível, à medida que a complexidade das tarefas e o horizonte aumentam, as taxas de sucesso caem significativamente. Você precisará de humanos para fundamentar consistentemente o processo a fim de manter as taxas de sucesso. Os principais problemas com as abordagens HITL são: 1. LLMs ajustados finamente se tornaram tão bons a um ponto em que é difícil para os humanos avaliar se as saídas estão realmente atendendo aos requisitos objetivos, porque muito trabalho foi feito para fazê-las 'parecer boas'. 2. saber quando um humano deve intervir ou quando o agente/modelo deve passar a tarefa/avaliação. A detecção de alucinações é um tópico e tanto.
Benjamin Todd
Benjamin Todd16/06/2025
Por que as IAs conseguem programar por 1h, mas não por 10h? Uma explicação simples: se há uma chance de 10% de erro a cada 10 minutos (digamos), a taxa de sucesso é: 1h: 53% 4h: 8% 10h: 0,002% @tobyordoxford testou essa teoria da 'taxa de erro constante' e mostrou que é uma boa correspondência para os dados a chance de sucesso diminui exponencialmente
1,3K