Khi bạn truy vấn AI, nó thu thập thông tin liên quan để trả lời bạn. Nhưng, mô hình cần bao nhiêu thông tin? Các cuộc trò chuyện với những người thực hành đã tiết lộ trực giác của họ: đầu vào lớn hơn ~20 lần so với đầu ra. Nhưng các thí nghiệm của tôi với giao diện dòng lệnh công cụ Gemini, mà xuất ra thống kê token chi tiết, đã tiết lộ rằng nó cao hơn nhiều. Trung bình là 300 lần và lên đến 4000 lần. Dưới đây là lý do tại sao tỷ lệ đầu vào so với đầu ra cao này quan trọng đối với bất kỳ ai xây dựng với AI: Quản lý Chi phí hoàn toàn phụ thuộc vào Đầu vào. Với các cuộc gọi API được định giá theo token, tỷ lệ 300:1 có nghĩa là chi phí được xác định bởi ngữ cảnh, không phải câu trả lời. Động lực định giá này vẫn đúng với tất cả các mô hình lớn. Trên trang định giá của OpenAI, token đầu ra cho GPT-4.1 đắt gấp 4 lần token đầu vào. Nhưng khi đầu vào lớn hơn 300 lần, chi phí đầu vào vẫn chiếm 98% tổng hóa đơn. Độ trễ là Chức năng của Kích thước Ngữ cảnh. Một yếu tố quan trọng xác định thời gian người dùng chờ đợi câu trả lời là thời gian mà mô hình cần để xử lý đầu vào. Nó Định nghĩa lại Thách thức Kỹ thuật. Quan sát này chứng minh rằng thách thức cốt lõi của việc xây dựng với LLM không chỉ là việc gợi ý. Đó là kỹ thuật ngữ cảnh. Nhiệm vụ quan trọng là xây dựng việc truy xuất dữ liệu hiệu quả & ngữ cảnh - tạo ra các quy trình có thể tìm thấy thông tin tốt nhất và tinh chế nó thành dấu chân token nhỏ nhất có thể. Caching Trở thành Yếu tố Quan trọng. Nếu 99% token nằm trong đầu vào, việc xây dựng một lớp caching mạnh mẽ cho các tài liệu thường xuyên được truy xuất hoặc các ngữ cảnh truy vấn phổ biến chuyển từ "cần có" thành yêu cầu kiến trúc cốt lõi để xây dựng một sản phẩm hiệu quả về chi phí & có thể mở rộng. Đối với các nhà phát triển, điều này có nghĩa là tập trung vào tối ưu hóa đầu vào là một công cụ quan trọng để kiểm soát chi phí, giảm độ trễ và cuối cùng, xây dựng một sản phẩm thành công được hỗ trợ bởi AI.