عندما تستعلم عن الذكاء الاصطناعي ، فإنه يجمع المعلومات ذات الصلة للإجابة عليك. ولكن ، ما مقدار المعلومات التي يحتاجها النموذج؟ كشفت المحادثات مع الممارسين عن حدسهم: كان المدخلات ~ 20 مرة أكبر من المخرجات. لكن تجاربي مع واجهة سطر أوامر أداة Gemini ، والتي تنتج إحصائيات مفصلة للرمز المميز ، كشفت عن أنها أعلى من ذلك بكثير. 300 ضعف في المتوسط وما يصل إلى 4000 ضعف. إليك سبب أهمية نسبة الإدخال إلى المخرجات العالية هذه لأي شخص يبني باستخدام الذكاء الاصطناعي: إدارة التكلفة هي كل شيء عن المدخلات. مع استدعاءات واجهة برمجة التطبيقات التي يتم تسعيرها لكل رمز مميز ، تعني نسبة 300: 1 أن التكاليف تمليها السياق وليس الإجابة. تنطبق ديناميكية التسعير هذه على جميع الموديلات الرئيسية. في صفحة تسعير OpenAI ، تكون رموز الإخراج المميزة ل GPT-4.1 باهظة 4 أضعاف تكلفة رموز الإدخال. ولكن عندما تكون المدخلات أكبر بمقدار 300 مرة ، تظل تكاليف المدخلات 98٪ من إجمالي الفاتورة. زمن الوصول هو دالة لحجم السياق. أحد العوامل المهمة التي تحدد المدة التي ينتظرها المستخدم للحصول على إجابة هو الوقت الذي يستغرقه النموذج لمعالجة الإدخال. يعيد تعريف التحدي الهندسي. تثبت هذه الملاحظة أن التحدي الأساسي المتمثل في البناء باستخدام LLMs ليس مجرد تحفيز. إنها هندسة السياق. تتمثل المهمة الحاسمة في بناء استرجاع البيانات والسياق الفعال - صياغة خطوط الأنابيب التي يمكنها العثور على أفضل المعلومات وتقطيرها في أصغر بصمة رمزية ممكنة. يصبح التخزين المؤقت أمرا بالغ الأهمية. إذا كانت 99٪ من الرموز المميزة في المدخلات ، فإن بناء طبقة تخزين مؤقت قوية للمستندات التي يتم استردادها بشكل متكرر أو سياقات الاستعلام الشائعة ينتقل من "لطيف" إلى متطلبات معمارية أساسية لبناء منتج فعال من حيث التكلفة وقابل للتطوير. بالنسبة للمطورين ، هذا يعني أن التركيز على تحسين المدخلات هو رافعة مهمة للتحكم في التكاليف ، وتقليل زمن الوصول ، وفي النهاية ، بناء منتج ناجح يعمل بالطاقة الذكاء الاصطناعي.