Telah belajar banyak tentang cara kerja LLM dalam kehidupan nyata saat menerapkan serangkaian heuristik untuk menghitung sesuatu dan menggunakan agen pengkodean untuk melakukannya. Kasus penggunaan saya adalah menentukan perkiraan nilai domain situs web. Berikut adalah agen (bebas) yang sedang saya kerjakan: DomainValue .com PELAJARAN YANG DIPETIK HARI INI: * Anda tidak bisa hanya membuat LLM menghasilkan penilaian - bahkan dengan model paling canggih melakukan penalaran. Valuasi terlalu berfluktuasi dengan rentang angka yang luas. * Lebih baik mengambil keahlian domain dan memberikan heuristik tingkat tinggi yang dapat digunakan untuk menginformasikan analisisnya. * Anda dapat membantu menemukan heuristik yang berguna dengan "mewawancarai" agen pengkodean dan menanyakan mengapa penilaiannya sangat rendah/tinggi. * Anda harus berhati-hati saat menyenggolnya untuk menyelesaikan masalah dengan penilaian tertentu yang "mati". Terkadang akan "overfit" (di mana ia memperbarui prompt untuk menyelesaikan contoh tertentu alih-alih menggeneralisasi). * Berguna untuk mengidentifikasi dimensi yang harus dilihat. Itu tidak mengintuisi itu. Contoh, apakah domain sepenuhnya terdiri dari kata-kata bahasa Inggris yang digabungkan bersama. Setiap karakter tambahan mengurangi nilainya. Jadi permainan kata .com jauh lebih berharga daripada permainan kata .com atau permainan kata2 .com. --- Beberapa dari Anda mungkin bertanya-tanya mengapa saya menghabiskan begitu banyak waktu untuk penilaian nama domain. Jawaban: Ini bukan tentang kasus penggunaan ini, ini tentang menggunakan kasus ini untuk mengembangkan pemahaman saya tentang AI dan untuk meningkatkan platform AgentAI untuk membangun agen. Ada nilai dan pengaruh yang sangat tinggi dalam menggunakan produk/platform sendiri.