Cái hộp đen nhỏ ở giữa là mã máy học. Tôi nhớ đã đọc bài báo "Nợ Kỹ Thuật Ẩn trong ML" của Google năm 2015 và nghĩ rằng rất ít ứng dụng máy học thực sự là máy học. Phần lớn là hạ tầng, quản lý dữ liệu và độ phức tạp trong vận hành. Với sự ra đời của AI, có vẻ như các mô hình ngôn ngữ lớn sẽ thay thế những cái hộp này. Lời hứa là sự đơn giản: chỉ cần đưa vào một LLM và xem nó xử lý mọi thứ từ dịch vụ khách hàng đến tạo mã. Không còn các pipeline phức tạp hay tích hợp dễ vỡ. Nhưng trong việc xây dựng các ứng dụng nội bộ, chúng tôi đã quan sát thấy một động lực tương tự với AI. Các tác nhân cần nhiều ngữ cảnh, giống như con người: CRM được cấu trúc như thế nào, chúng tôi nhập gì vào từng trường - nhưng đầu vào thì tốn kém cho mô hình AI "Đói, Đói". Giảm chi phí có nghĩa là viết phần mềm xác định để thay thế lý luận của AI. Ví dụ, tự động hóa quản lý email có nghĩa là viết công cụ để tạo nhiệm vụ Asana và cập nhật CRM. Khi số lượng công cụ tăng lên trên mười hoặc mười lăm công cụ, việc gọi công cụ không còn hiệu quả. Đã đến lúc khởi động một mô hình máy học cổ điển để chọn công cụ. Sau đó là việc theo dõi hệ thống với khả năng quan sát, đánh giá xem nó có hiệu suất hay không, và định tuyến đến mô hình đúng. Ngoài ra, có một loại phần mềm hoàn toàn để đảm bảo AI làm những gì nó được yêu cầu. Các rào cản ngăn chặn các phản hồi không phù hợp. Giới hạn tỷ lệ ngăn chi phí không bị kiểm soát khi một hệ thống gặp sự cố. Việc truy xuất thông tin (RAG - truy xuất tăng cường) là điều cần thiết cho bất kỳ hệ thống sản xuất nào. Trong ứng dụng email của tôi, tôi sử dụng cơ sở dữ liệu vector LanceDB để tìm tất cả email từ một người gửi cụ thể và khớp tông giọng của họ. Có những kỹ thuật khác cho quản lý tri thức xung quanh RAG đồ thị và các cơ sở dữ liệu vector chuyên biệt. Gần đây, bộ nhớ đã trở nên quan trọng hơn nhiều. Các giao diện dòng lệnh cho các công cụ AI lưu trữ lịch sử cuộc trò chuyện dưới dạng tệp markdown. Khi tôi xuất bản biểu đồ, tôi muốn chú thích Theory Ventures ở góc dưới bên phải, một phông chữ cụ thể, màu sắc và kiểu dáng. Những điều đó giờ đây đều được lưu trong các tệp .gemini hoặc .claude trong một loạt các thư mục nối tiếp. Sự đơn giản ban đầu của các mô hình ngôn ngữ lớn đã bị thay thế bởi độ phức tạp sản xuất cấp doanh nghiệp. Điều này không hoàn toàn giống với thế hệ hệ thống máy học trước đó, nhưng nó theo một sự tương đồng rõ ràng. Những gì dường như là một "hộp ma thuật AI" đơn giản hóa ra lại là một tảng băng trôi, với phần lớn công việc kỹ thuật ẩn dưới bề mặt.