Saat Anda menanyakan AI, ia mengumpulkan informasi yang relevan untuk menjawab Anda. Tapi, berapa banyak informasi yang dibutuhkan model? Percakapan dengan praktisi mengungkapkan intuisi mereka: inputnya ~20x lebih besar dari output. Tetapi eksperimen saya dengan antarmuka baris perintah alat Gemini, yang menghasilkan statistik token terperinci, mengungkapkan bahwa itu jauh lebih tinggi. Rata-rata 300x & hingga 4000x. Inilah mengapa rasio input-ke-output yang tinggi ini penting bagi siapa saja yang membangun dengan AI: Manajemen Biaya adalah Semua Tentang Input. Dengan panggilan API dengan harga per token, rasio 300:1 berarti biaya ditentukan oleh konteks, bukan jawabannya. Dinamika penetapan harga ini berlaku di semua model utama. Di halaman harga OpenAI, token keluaran untuk GPT-4.1 4x lebih mahal dari token input. Tetapi ketika inputnya 300x lebih banyak, biaya input masih 98% dari total tagihan. Latensi adalah Fungsi dari Ukuran Konteks. Faktor penting yang menentukan berapa lama pengguna menunggu jawaban adalah waktu yang dibutuhkan model untuk memproses input. Ini mendefinisikan ulang tantangan teknik. Pengamatan ini membuktikan bahwa tantangan inti membangun dengan LLM tidak hanya mendorong. Ini adalah rekayasa konteks. Tugas kritisnya adalah membangun pengambilan data yang efisien & konteks - membuat pipeline yang dapat menemukan informasi terbaik dan menyaringnya menjadi jejak token sekecil mungkin. Caching menjadi sangat penting. Jika 99% token ada dalam input, membangun lapisan caching yang kuat untuk dokumen yang sering diambil atau konteks kueri umum berpindah dari "bagus-untuk-dimiliki" ke persyaratan arsitektur inti untuk membangun produk yang hemat biaya & dapat diskalakan. Bagi pengembang, ini berarti berfokus pada pengoptimalan input adalah pengungkit penting untuk mengontrol biaya, mengurangi latensi, dan pada akhirnya, membangun produk bertenaga AI yang sukses.