É exatamente por isso que os pipelines human-in-the-loop são necessários no futuro próximo, à medida que a complexidade e o horizonte da tarefa aumentam, as taxas de sucesso caem significativamente. Você precisará de humanos para fundamentar consistentemente o processo para manter as taxas de sucesso. Os principais problemas com as abordagens HITL são: 1. Os LLMs ajustados ficaram tão bons a um ponto em que é difícil para os humanos avaliar se os resultados estão realmente atendendo aos requisitos objetivos porque muito trabalho foi feito para fazê-lo 'parecer bom'. 2. saber quando um humano deve intervir ou quando o agente/modelo deve entregar a tarefa/avaliação. A detecção de alucinações é um tópico e tanto
Benjamin Todd
Benjamin Todd16 de jun. de 2025
Por que as IAs podem codificar por 1h, mas não por 10h? Uma explicação simples: se houver 10% de chance de erro por passo de 10 minutos (digamos), a taxa de sucesso é: 1h: 53% 4h: 8% 10h: 0,002% @tobyordoxford testou essa teoria da 'taxa de erro constante' e mostrou que é uma boa opção para os dados a chance de sucesso diminui exponencialmente
1,31K