Именно поэтому в обозримом будущем необходимы системы с участием человека, так как сложность задач и горизонты увеличиваются, а уровень успеха значительно падает. Вам понадобятся люди, чтобы постоянно закреплять процесс, чтобы поддерживать уровень успеха. Основные проблемы с подходами HITL: 1. Тонко настроенные LLM стали настолько хороши, что людям трудно оценить, соответствуют ли результаты объективным требованиям, потому что было вложено много усилий, чтобы они «выглядели хорошо». 2. Знание, когда человеку следует вмешаться или когда агент/модель должен передать задачу/оценку. Обнаружение галлюцинаций — это настоящая тема.
Benjamin Todd
Benjamin Todd16 июн. 2025 г.
Почему ИИ может кодировать 1 час, но не 10 часов? Простое объяснение: если вероятность ошибки составляет 10% за каждые 10 минут (скажем), то вероятность успеха: 1 час: 53% 4 часа: 8% 10 часов: 0,002% @tobyordoxford протестировал теорию 'постоянной вероятности ошибки' и показал, что она хорошо соответствует данным. вероятность успеха уменьшается экспоненциально.
1,3K