"Termín "obal ChatGPT" je otřepaný a opravdu, opravdu špatný."
Andrej Karpathy
Andrej Karpathy25. 6. 2025
+1 pro "kontextové inženýrství" před "promptním inženýrstvím". Lidé si spojují výzvy s krátkými popisy úkolů, které byste dali LLM ve svém každodenním používání. Když v každé průmyslové aplikaci LLM je kontextové inženýrství delikátním uměním a vědou naplnění kontextového okna těmi správnými informacemi pro další krok. Věda proto, že dělat to správně zahrnuje popisy a vysvětlení úkolů, pár příkladů záběrů, RAG, související (možná multimodální) data, nástroje, stav a historii, zhutňování... Příliš málo nebo špatné formy a LLM nemá správný kontext pro optimální výkon. Příliš mnoho nebo příliš irelevantní a náklady na LLM mohou vzrůst a výkon může klesnout. Dělat to dobře je vysoce netriviální. A umění, protože vůdčí intuice kolem LLM psychologie lidí, duchů. Kromě samotného kontextového inženýrství musí LLM aplikace: - rozdělte problémy přesně na toky řízení - zabalte kontextová okna tak akorát - dispečerské hovory na LLM správného druhu a schopností - zpracovávat toky UIUX pro ověřování generování a ověřování - mnohem více - svodidla, zabezpečení, vyhodnocení, paralelismus, přednačítání, ... Kontextové inženýrství je tedy jen jedním malým kouskem vznikající tlusté vrstvy netriviálního softwaru, který koordinuje jednotlivá volání LLM (a mnohem více) do plných LLM aplikací. Termín "obal ChatGPT" je otřepaný a opravdu, opravdu špatný.
292,54K