Ini sangat menyenangkan, Mario. Terima kasih telah menghadirkan saya di acara ini untuk berbicara tentang semua yang terjadi di pasar!

OpenAI menerima rata-rata 1 kueri per orang Amerika per hari. Google menerima sekitar 4 kueri per orang Amerika per hari. Sejak itu 50% kueri pencarian Google memiliki Ikhtisar AI, ini berarti setidaknya 60% pencarian AS sekarang adalah AI. Butuh waktu sedikit lebih lama dari yang saya harapkan untuk ini terjadi. Pada tahun 2024, saya memperkirakan bahwa 50% pencarian konsumen akan diaktifkan AI. ( Tapi AI telah tiba dalam pencarian. Jika pola penelusuran Google adalah indikasi, ada undang-undang kekuasaan dalam perilaku penelusuran. Analisis SparkToro tentang perilaku pencarian Google menunjukkan sepertiga teratas orang Amerika yang mencari melakukan lebih dari 80% dari semua pencarian - yang berarti penggunaan AI kemungkinan tidak terdistribusi secara merata - seperti masa depan. Situs web & bisnis mulai merasakan dampak dari hal ini. Artikel The Economist "AI membunuh web. Ada yang bisa menyelamatkannya?" menangkap zeitgeist dalam sebuah tajuk utama. ( Mayoritas orang Amerika sekarang mencari dengan AI. Efek tingkat kedua dari perubahan pola pencarian akan datang pada paruh kedua tahun ini dan lebih banyak lagi yang akan bertanya, "Apa yang Terjadi dengan Lalu Lintas Saya?" ( AI adalah saluran distribusi baru & mereka yang mengambilnya akan mendapatkan pangsa pasar. - William Gibson melihat lebih jauh ke masa depan! - Ini didasarkan pada analisis titik tengah grafik SparkToro, adalah analisis yang sangat sederhana, & memiliki beberapa kesalahan sebagai hasilnya.

Dalam bekerja dengan AI, saya berhenti sebelum mengetikkan apa pun ke dalam kotak untuk bertanya pada diri sendiri sebuah pertanyaan: apa yang saya harapkan dari AI? 2x2 untuk menyelamatkan! Kotak mana saya berada? Pada satu sumbu, seberapa banyak konteks yang saya berikan : tidak terlalu banyak atau sedikit. Di sisi lain, apakah saya harus menonton AI atau membiarkannya berjalan. Jika saya memberikan sangat sedikit informasi & membiarkan sistem berjalan: 'meneliti tren Forward Deployed Engineer', saya mendapatkan hasil sekali pakai: ikhtisar luas tanpa detail yang relevan. Menjalankan proyek yang sama dengan serangkaian pertanyaan singkat menghasilkan percakapan berulang yang berhasil - Eksplorasi. "Perusahaan mana yang telah menerapkan Forward Deployed Engineers (FDE)? Apa latar belakang khas FDE? Jenis struktur kontrak dan bisnis apa yang cocok untuk pekerjaan ini?" Ketika saya memiliki toleransi yang sangat rendah untuk kesalahan, saya memberikan konteks yang ekstensif & bekerja secara berulang dengan AI. Untuk posting blog atau analisis keuangan, saya membagikan semuanya (draf saat ini, tulisan sebelumnya, persyaratan terperinci) lalu melanjutkan kalimat demi kalimat. Membiarkan agen berjalan bebas membutuhkan penentuan semuanya di muka. Saya jarang berhasil di sini karena pekerjaan di muka menuntut kejelasan yang luar biasa - tujuan yang tepat, informasi yang komprehensif, & daftar tugas terperinci dengan kriteria validasi - garis besar. Petunjuk ini akhirnya terlihat seperti dokumen persyaratan produk yang saya tulis sebagai manajer produk. Jawaban untuk 'apa yang saya harapkan?' akan menjadi lebih mudah karena sistem AI mengakses lebih banyak informasi saya dan meningkatkan dalam memilih data yang relevan. Saat saya menjadi lebih baik dalam mengartikulasikan apa yang sebenarnya saya inginkan, kolaborasi meningkat. Saya bertujuan untuk memindahkan lebih banyak pertanyaan saya dari ember kiri atas - bagaimana saya dilatih dengan pencarian Google - ke tiga kuadran lainnya. Saya juga berharap kebiasaan ini akan membantu saya bekerja dengan orang dengan lebih baik.

Kotak hitam kecil di tengah adalah kode pembelajaran mesin. Saya ingat membaca makalah Hutang Teknis Tersembunyi Google 2015 di ML & berpikir betapa sedikitnya aplikasi pembelajaran mesin adalah pembelajaran mesin yang sebenarnya. Sebagian besar adalah infrastruktur, manajemen data, & kompleksitas operasional. Dengan awal AI, tampaknya model bahasa besar akan memasukkan kotak-kotak ini. Janjinya adalah kesederhanaan: drop in LLM & menontonnya menangani segala sesuatu mulai dari layanan pelanggan hingga pembuatan kode. Tidak ada lagi pipeline yang rumit atau integrasi yang rapuh. Tetapi dalam membangun aplikasi internal, kami telah mengamati dinamika yang sama dengan AI. Agen membutuhkan banyak konteks, seperti manusia : bagaimana CRM terstruktur, apa yang kita masukkan ke dalam setiap bidang - tetapi input mahal model AI Lapar, Lapar. Mengurangi biaya berarti menulis perangkat lunak deterministik untuk menggantikan penalaran AI. Misalnya, mengotomatiskan manajemen email berarti menulis alat untuk membuat tugas Asana & memperbarui CRM. Karena jumlah alat meningkat melebihi sepuluh atau lima belas alat, pemanggilan alat tidak lagi berfungsi. Saatnya memutar model pembelajaran mesin klasik untuk memilih alat. Lalu ada mengamati sistem dengan observabilitas, mengevaluasi apakah itu berkinerja, & merutekan ke model yang tepat. Selain itu, ada seluruh kategori perangkat lunak seputar memastikan AI melakukan apa yang seharusnya. Pagar pembatas mencegah respons yang tidak pantas. Pembatasan tarif menghentikan biaya dari lepas kendali ketika suatu sistem menjadi kacau. Pengambilan informasi (RAG - retrieval augmented generation) sangat penting untuk sistem produksi apa pun. Di aplikasi email saya, saya menggunakan database vektor LanceDB untuk menemukan semua email dari pengirim tertentu & mencocokkan nada mereka. Ada teknik lain untuk manajemen pengetahuan seputar grafik RAG & database vektor khusus. Baru-baru ini, memori menjadi jauh lebih penting. Antarmuka baris perintah untuk alat AI menyimpan riwayat percakapan sebagai file penurunan harga. Ketika saya menerbitkan grafik, saya ingin keterangan Theory Ventures di kanan bawah, font, warna, & gaya tertentu. Itu semua sekarang disimpan dalam file .gemini atau .claude dalam serangkaian direktori berjenjang. Kesederhanaan asli model bahasa besar telah dimasukkan oleh kompleksitas produksi tingkat perusahaan. Ini tidak identik dengan sistem pembelajaran mesin generasi sebelumnya, tetapi mengikuti paralel yang jelas. Apa yang tampak seperti "kotak ajaib AI" sederhana ternyata adalah gunung es, dengan sebagian besar pekerjaan teknik tersembunyi di bawah permukaan.

Jika 2025 adalah tahun agen, maka 2026 pasti akan menjadi milik manajer agen. Manajer agen adalah orang-orang yang dapat mengelola tim agen AI. Berapa banyak yang bisa berhasil dikelola oleh satu orang? Saya hampir tidak bisa mengelola 4 agen AI sekaligus. Mereka meminta klarifikasi, meminta izin, melakukan pencarian web—semuanya membutuhkan perhatian saya. Terkadang tugas membutuhkan waktu 30 detik. Di lain waktu, 30 menit. Saya kehilangan jejak agen mana yang melakukan apa dan setengah pekerjaan dibuang karena mereka salah menafsirkan instruksi. Ini bukan masalah keterampilan. Ini adalah masalah perkakas. Robot fisik menawarkan petunjuk tentang produktivitas manajer robot. MIT menerbitkan analisis pada tahun 2020 yang menunjukkan bahwa rata-rata robot menggantikan 3,3 pekerjaan manusia. Pada tahun 2024, Amazon melaporkan robot pickpack dan ship menggantikan 24 pekerja. Tetapi ada perbedaan kritis: AI tidak deterministik. Agen AI menafsirkan instruksi. Mereka berimprovisasi. Mereka kadang-kadang mengabaikan arahan sepenuhnya. Roomba hanya bisa memimpikan kebebasan kreatif untuk mengabaikan ruang tamu Anda dan memutuskan garasi membutuhkan perhatian sebagai gantinya. Teori manajemen sering memandu tim ke rentang kendali 7 orang. Berbicara dengan beberapa manajer agen yang lebih baik, saya telah mengetahui bahwa mereka menggunakan kotak masuk agen, alat manajemen proyek untuk meminta pekerjaan AI & mengevaluasinya. Dalam rekayasa perangkat lunak, permintaan tarik Github atau tiket Linear melayani tujuan ini. Insinyur perangkat lunak AI yang sangat produktif mengelola 10-15 agen dengan menentukan 10-15 tugas secara rinci, mengirimkannya ke AI, menunggu sampai selesai dan kemudian meninjau pekerjaan. Setengah dari pekerjaan dibuang, dan dimulai kembali dengan prompt yang ditingkatkan. Kotak masuk agen belum populer. Ini tidak tersedia secara luas. Tetapi saya menduga itu akan menjadi bagian penting dari tumpukan produktivitas bagi manajer agen masa depan karena itu satu-satunya cara untuk melacak pekerjaan yang dapat masuk kapan saja. Jika ARR per karyawan adalah metrik vanity baru untuk startup, maka agen yang dikelola per orang dapat menjadi metrik produktivitas vanity seorang pekerja. Dalam 12 bulan, menurut Anda berapa banyak agen yang bisa Anda kelola? 10? 50? 100? Bisakah Anda mengelola agen yang mengelola agen lain?

"Oh, kantormu ada di gedung Ferry, itu luar biasa, seperti apa" "Pengamen tanpa henti. Rapat terganggu oleh bagpiper di luar. Kursi barisan depan untuk Santana berikutnya di jalanan."

Selama dekade terakhir, item baris terbesar dalam anggaran R&D startup mana pun adalah bakat yang dapat diprediksi. Tapi AI mendorong jalannya ke P&L. Berapa banyak yang harus dibelanjakan startup untuk AI sebagai persentase dari pengeluaran penelitian dan pengembangannya? 10%? 30%? 60? Ada tiga faktor yang perlu dipertimbangkan. Pertama, gaji rata-rata untuk insinyur perangkat lunak di Silicon Valley. Kedua adalah total biaya AI yang digunakan oleh insinyur itu. Kursor sekarang berada di $200 per bulan untuk Paket Ultra mereka & ulasan Devin menyarankan $500 per bulan. Ketiga, jumlah agen yang dapat dikelola oleh seorang insinyur. Lintasan pertama : (gambar pertama) Tetapi biaya berlangganannya mungkin rendah. Selama beberapa hari terakhir saya telah bermain-main secara ekstensif dengan agen pengkodean AI dan saya mengumpulkan tagihan sebesar $1.000 dalam rentang waktu lima hari! 😳😅 Jadi mari kita perbarui tabel dan asumsikan $1000 per bulan lagi per insinyur. Jadi untuk startup biasa, perkiraan 10 hingga 15% dari total biaya R&D saat ini mungkin digunakan untuk AI. Variannya akan jauh lebih luas dalam praktiknya karena kita semua belajar menggunakan AI dengan lebih baik dan menembus lebih banyak organisasi. Perusahaan kecil yang asli AI sejak awal cenderung memiliki rasio yang jauh lebih tinggi. Jika Anda tertarik untuk berpartisipasi dalam survei anonim, saya akan menerbitkan hasilnya jika ukuran sampel cukup besar untuk memiliki hasil yang signifikan secara statistik. Survei ada di sini : Ini adalah model yang sangat disederhanakan di mana kami hanya meninjau gaji, tidak termasuk tunjangan, perangkat keras, infrastruktur pengembang & pengujian, dll. Ini adalah perkiraan berdasarkan pengkodean getaran pengalaman pribadi yang didiskon.

Selama dekade terakhir, item baris terbesar dalam anggaran R&D startup mana pun adalah bakat yang dapat diprediksi. Tapi AI mendorong jalannya ke P&L. Berapa banyak yang harus dibelanjakan startup untuk AI sebagai persentase dari pengeluaran penelitian dan pengembangannya? 10%? 30%? 60? Ada tiga faktor yang perlu dipertimbangkan. Pertama, gaji rata-rata untuk insinyur perangkat lunak di Silicon Valley. Kedua adalah total biaya AI yang digunakan oleh insinyur itu. Kursor sekarang berada di $200 per bulan untuk Paket Ultra mereka & ulasan Devin menyarankan $500 per bulan. Ketiga, jumlah agen yang dapat dikelola oleh seorang insinyur. Lintasan pertama : (gambar pertama) Tetapi biaya berlangganannya mungkin rendah. Selama beberapa hari terakhir saya telah bermain-main secara ekstensif dengan agen pengkodean AI dan saya mengumpulkan tagihan sebesar $1.000 dalam rentang waktu lima hari! 😳😅 Jadi mari kita perbarui tabel dan asumsikan $1000 per bulan lagi per insinyur. Jadi untuk startup biasa, perkiraan 10 hingga 15% dari total biaya R&D saat ini mungkin digunakan untuk AI. Variannya akan jauh lebih luas dalam praktiknya karena kita semua belajar menggunakan AI dengan lebih baik dan menembus lebih banyak organisasi. Perusahaan kecil yang asli AI sejak awal cenderung memiliki rasio yang jauh lebih tinggi. Jika Anda tertarik untuk berpartisipasi dalam survei anonim, saya akan menerbitkan hasilnya jika ukuran sampel cukup besar untuk memiliki hasil yang signifikan secara statistik. Survei ada di sini : Ini adalah model yang sangat disederhanakan di mana kami hanya meninjau gaji, tidak termasuk tunjangan, perangkat keras, infrastruktur pengembang & pengujian, dll. Ini adalah perkiraan berdasarkan pengkodean getaran pengalaman pribadi yang didiskon.

Saat Anda menanyakan AI, ia mengumpulkan informasi yang relevan untuk menjawab Anda. Tapi, berapa banyak informasi yang dibutuhkan model? Percakapan dengan praktisi mengungkapkan intuisi mereka: inputnya ~20x lebih besar dari output. Tetapi eksperimen saya dengan antarmuka baris perintah alat Gemini, yang menghasilkan statistik token terperinci, mengungkapkan bahwa itu jauh lebih tinggi. Rata-rata 300x & hingga 4000x. Inilah mengapa rasio input-ke-output yang tinggi ini penting bagi siapa saja yang membangun dengan AI: Manajemen Biaya adalah Semua Tentang Input. Dengan panggilan API dengan harga per token, rasio 300:1 berarti biaya ditentukan oleh konteks, bukan jawabannya. Dinamika penetapan harga ini berlaku di semua model utama. Di halaman harga OpenAI, token keluaran untuk GPT-4.1 4x lebih mahal dari token input. Tetapi ketika inputnya 300x lebih banyak, biaya input masih 98% dari total tagihan. Latensi adalah Fungsi dari Ukuran Konteks. Faktor penting yang menentukan berapa lama pengguna menunggu jawaban adalah waktu yang dibutuhkan model untuk memproses input. Ini mendefinisikan ulang tantangan teknik. Pengamatan ini membuktikan bahwa tantangan inti membangun dengan LLM tidak hanya mendorong. Ini adalah rekayasa konteks. Tugas kritisnya adalah membangun pengambilan data yang efisien & konteks - membuat pipeline yang dapat menemukan informasi terbaik dan menyaringnya menjadi jejak token sekecil mungkin. Caching menjadi sangat penting. Jika 99% token ada dalam input, membangun lapisan caching yang kuat untuk dokumen yang sering diambil atau konteks kueri umum berpindah dari "bagus-untuk-dimiliki" ke persyaratan arsitektur inti untuk membangun produk yang hemat biaya & dapat diskalakan. Bagi pengembang, ini berarti berfokus pada pengoptimalan input adalah pengungkit penting untuk mengontrol biaya, mengurangi latensi, dan pada akhirnya, membangun produk bertenaga AI yang sukses.

Kemarin, Figma mengajukan S-1 yang dirancang dengan indah. Ini mengungkapkan bisnis pertumbuhan yang dipimpin produk (PLG) dengan lintasan yang luar biasa. Platform alat desain kolaboratif Figma mengganggu pasar desain yang telah lama didominasi oleh Adobe. Inilah cara kedua perusahaan menumpuk metrik utama untuk tahun fiskal terbaru mereka [lihat gambar terlampir]: Figma sekitar 3% ukuran Adobe tetapi tumbuh 4x lebih cepat. Margin kotornya identik. Retensi Dolar Bersih 132% Figma adalah desil teratas. Data juga menunjukkan pengeluaran Penelitian & Pengembangan Figma hampir sama dengan pengeluaran Penjualan & Pemasaran. Ini adalah model PLG yang terbaik. Produk Figma adalah mesin pemasaran utamanya. Sifat kolaboratifnya mendorong adopsi viral, bottoms-up, yang mengarah pada efisiensi penjualan terbaik di kelasnya 1.0. Untuk setiap dolar yang dihabiskan untuk penjualan & pemasaran pada tahun 2023, Figma menghasilkan satu dolar laba kotor baru pada tahun 2024. Model campuran adobe bottoms-up & sales-led menghasilkan 0,39 yang lebih khas. S-1 juga menyoroti risiko. Yang paling signifikan adalah persaingan dari produk AI. Sementara Figma berinvestasi besar-besaran dalam AI, teknologi ini menurunkan penghalang bagi pendatang baru. Pertahanan Figma adalah platformnya yang berkembang—dengan produk seperti FigJam, Dev Mode, & sekarang Slides, Sites, & Make. Kategori produk baru ini telah mendorong banyak perusahaan perangkat lunak PLG AI menjadi puluhan & ratusan juta dalam ARR dalam waktu singkat. Mengingat pertumbuhan tinggi & model bisnisnya yang unik, bagaimana seharusnya nilai pasar Figma? Kita dapat menggunakan regresi linier berdasarkan perusahaan SaaS publik untuk memprediksi kelipatan pendapatan ke depannya. Model ini menunjukkan korelasi moderat antara pertumbuhan pendapatan & kelipatan penilaian (R² = 0,23). Figma, dengan pertumbuhan 48%, akan menjadi perusahaan perangkat lunak dengan pertumbuhan tercepat dalam kelompok ini dengan mengesampingkan NVIDIA. Kasus yang meyakinkan dapat dibuat bahwa Figma harus memerintahkan penilaian yang lebih tinggi dari yang diperkirakan. Kombinasi dari pertumbuhan hiper, efisiensi penjualan terbaik di kelasnya, & basis pengguna yang bersemangat dan menyebarkan diri jarang terjadi. Menerapkan prediksi kelipatan 19,9x model kami untuk memperkirakan pendapatan ke depan menghasilkan perkiraan penilaian IPO sekitar $21 miliar 2 - premi dari $20 miliar yang ditawarkan Adobe untuk perusahaan pada tahun 2022. S-1 menceritakan kisah perusahaan yang menentukan kategori yang membangun produk desain kolaboratif, mengembangkan gerakan PLG yang fenomenal, dan mendorong secara aktif ke AI. Biaya penghentian sebesar $1,0 miliar dari Adobe diterima pada Desember 2023 dan dicatat sebagai "Pendapatan lainnya, bersih" pada Tahun Fiskal 2024 (berakhir 31 Januari 2024). Biaya kompensasi berbasis saham yang besar hampir $900 juta terkait dengan penawaran tender karyawan pada Mei 2024. Keduanya dihapus dalam data non-GAAP yang dikutip di atas. Dengan mengambil tingkat pertumbuhan dua belas bulan Figma 48,3% dan mendiskontokannya sebesar 15% (untuk memperhitungkan perlambatan pertumbuhan alami), model ini menghasilkan perkiraan pertumbuhan ke depan sebesar 41,1%. Ini akan menyiratkan pendapatan ke depan sekitar $1,1 miliar.