+1 за "инженерию контекста" вместо "инженерии подсказок". Люди ассоциируют подсказки с короткими описаниями задач, которые вы даете LLM в повседневном использовании. Однако в каждом промышленном приложении LLM инженерия контекста — это тонкое искусство и наука заполнения окна контекста именно той информацией, которая нужна для следующего шага. Наука, потому что правильное выполнение этого включает описания задач и объяснения, примеры с несколькими образцами, RAG, связанные (возможно, мультимодальные) данные, инструменты, состояние и историю, сжатие... Слишком мало или неправильной формы, и LLM не имеет правильного контекста для оптимальной работы. Слишком много или слишком неуместно, и затраты LLM могут возрасти, а производительность может снизиться. Сделать это хорошо — это крайне нетривиально. И искусство, потому что это связано с интуицией о психологии LLM и духах людей. Кроме самой инженерии контекста, приложение LLM должно: - правильно разбивать проблемы на контрольные потоки - правильно упаковывать окна контекста - отправлять вызовы к LLM нужного типа и возможностей - обрабатывать потоки UIUX генерации-проверки - и многое другое - защитные меры, безопасность, оценки, параллелизм, предварительная выборка, ... Таким образом, инженерия контекста — это всего лишь небольшая часть возникающего толстого слоя нетривиального программного обеспечения, которое координирует отдельные вызовы LLM (и многое другое) в полные приложения LLM. Термин "обертка ChatGPT" устарел и на самом деле очень, очень неверен.
tobi lutke
tobi lutke19 июн. 2025 г.
Мне действительно нравится термин «контекстная инженерия» больше, чем «инженерия подсказок». Он лучше описывает основное умение: искусство предоставления всего контекста, чтобы задача могла быть правдоподобно решена LLM.
1,89M