Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
+1 за "инженерию контекста" вместо "инженерии подсказок".
Люди ассоциируют подсказки с короткими описаниями задач, которые вы даете LLM в повседневном использовании. Однако в каждом промышленном приложении LLM инженерия контекста — это тонкое искусство и наука заполнения окна контекста именно той информацией, которая нужна для следующего шага. Наука, потому что правильное выполнение этого включает описания задач и объяснения, примеры с несколькими образцами, RAG, связанные (возможно, мультимодальные) данные, инструменты, состояние и историю, сжатие... Слишком мало или неправильной формы, и LLM не имеет правильного контекста для оптимальной работы. Слишком много или слишком неуместно, и затраты LLM могут возрасти, а производительность может снизиться. Сделать это хорошо — это крайне нетривиально. И искусство, потому что это связано с интуицией о психологии LLM и духах людей.
Кроме самой инженерии контекста, приложение LLM должно:
- правильно разбивать проблемы на контрольные потоки
- правильно упаковывать окна контекста
- отправлять вызовы к LLM нужного типа и возможностей
- обрабатывать потоки UIUX генерации-проверки
- и многое другое - защитные меры, безопасность, оценки, параллелизм, предварительная выборка, ...
Таким образом, инженерия контекста — это всего лишь небольшая часть возникающего толстого слоя нетривиального программного обеспечения, которое координирует отдельные вызовы LLM (и многое другое) в полные приложения LLM. Термин "обертка ChatGPT" устарел и на самом деле очень, очень неверен.

19 июн. 2025 г.
Мне действительно нравится термин «контекстная инженерия» больше, чем «инженерия подсказок».
Он лучше описывает основное умение: искусство предоставления всего контекста, чтобы задача могла быть правдоподобно решена LLM.
1,89M
Топ
Рейтинг
Избранное