Kotak hitam kecil di tengah adalah kode pembelajaran mesin. Saya ingat membaca makalah Hutang Teknis Tersembunyi Google 2015 di ML & berpikir betapa sedikitnya aplikasi pembelajaran mesin adalah pembelajaran mesin yang sebenarnya. Sebagian besar adalah infrastruktur, manajemen data, & kompleksitas operasional. Dengan awal AI, tampaknya model bahasa besar akan memasukkan kotak-kotak ini. Janjinya adalah kesederhanaan: drop in LLM & menontonnya menangani segala sesuatu mulai dari layanan pelanggan hingga pembuatan kode. Tidak ada lagi pipeline yang rumit atau integrasi yang rapuh. Tetapi dalam membangun aplikasi internal, kami telah mengamati dinamika yang sama dengan AI. Agen membutuhkan banyak konteks, seperti manusia : bagaimana CRM terstruktur, apa yang kita masukkan ke dalam setiap bidang - tetapi input mahal model AI Lapar, Lapar. Mengurangi biaya berarti menulis perangkat lunak deterministik untuk menggantikan penalaran AI. Misalnya, mengotomatiskan manajemen email berarti menulis alat untuk membuat tugas Asana & memperbarui CRM. Karena jumlah alat meningkat melebihi sepuluh atau lima belas alat, pemanggilan alat tidak lagi berfungsi. Saatnya memutar model pembelajaran mesin klasik untuk memilih alat. Lalu ada mengamati sistem dengan observabilitas, mengevaluasi apakah itu berkinerja, & merutekan ke model yang tepat. Selain itu, ada seluruh kategori perangkat lunak seputar memastikan AI melakukan apa yang seharusnya. Pagar pembatas mencegah respons yang tidak pantas. Pembatasan tarif menghentikan biaya dari lepas kendali ketika suatu sistem menjadi kacau. Pengambilan informasi (RAG - retrieval augmented generation) sangat penting untuk sistem produksi apa pun. Di aplikasi email saya, saya menggunakan database vektor LanceDB untuk menemukan semua email dari pengirim tertentu & mencocokkan nada mereka. Ada teknik lain untuk manajemen pengetahuan seputar grafik RAG & database vektor khusus. Baru-baru ini, memori menjadi jauh lebih penting. Antarmuka baris perintah untuk alat AI menyimpan riwayat percakapan sebagai file penurunan harga. Ketika saya menerbitkan grafik, saya ingin keterangan Theory Ventures di kanan bawah, font, warna, & gaya tertentu. Itu semua sekarang disimpan dalam file .gemini atau .claude dalam serangkaian direktori berjenjang. Kesederhanaan asli model bahasa besar telah dimasukkan oleh kompleksitas produksi tingkat perusahaan. Ini tidak identik dengan sistem pembelajaran mesin generasi sebelumnya, tetapi mengikuti paralel yang jelas. Apa yang tampak seperti "kotak ajaib AI" sederhana ternyata adalah gunung es, dengan sebagian besar pekerjaan teknik tersembunyi di bawah permukaan.