Gần đây tôi đã thử nghiệm Particle News @particle_news, suy nghĩ lại về giá trị và ranh giới của LLM trong bối cảnh thông tin giao dịch. Particle là một sản phẩm tin tức AI rất tinh tế, làm rất tốt trong việc cung cấp thông tin rộng rãi & tính trung lập, khả năng đọc và nghe nội dung (nội dung lỏng). Nhưng trải nghiệm được tinh chỉnh này có sự khác biệt cấu trúc với hệ thống thông tin giao dịch, tôi viết ra để xem có thể giúp đỡ những đồng nghiệp đang làm sản phẩm tương tự. 1. Thông tin không phải là thu thập và tích hợp, mà là phân cụm và hiểu biết. Khái niệm "câu chuyện" mà người sáng lập Sara Beykpour nhấn mạnh trong cuộc phỏng vấn là điều tôi rất đồng ý, đây cũng là một trong những điểm nổi bật của họ, nhấn mạnh rằng thông tin không phải là "được thu thập và tích hợp", mà là "được phân cụm và hiểu biết". Nếu thông tin chỉ đơn giản là thu thập và nối lại mà không có suy nghĩ, thì tất cả các sắp xếp, đánh giá độ tin cậy ở phía dưới sẽ trở nên mơ hồ. Đặc biệt trong bối cảnh giao dịch, nơi thông tin có mật độ rất cao, yêu cầu tính thời gian thực mạnh mẽ và bối cảnh rộng lớn, không thể để mô hình lớn "tự do hiểu", mà cần phải được AI thực hiện một vòng phân cụm ngữ nghĩa có cấu trúc, tổ chức thông tin rời rạc thành một số "cụm sự kiện" (câu chuyện) chặt chẽ, có mối liên hệ nguyên nhân bên trong. 2. Ưu điểm và điểm mù của LLM: tính trung lập, tính nguyên nhân vs khả năng dự đoán - LLM có ưu thế rõ ràng trong việc kiểm soát phong cách/quan điểm trung lập trong moderation. Nhưng thông qua việc tổng hợp + nhiều đánh giá sau đó sẽ hy sinh tính kịp thời và căng thẳng cấu trúc. - LLM giỏi trong việc đánh giá chuỗi nguyên nhân, phân tích nguyên nhân & kết quả, tinh lọc các mối liên hệ rất tinh vi giữa các điểm bullet, đặc biệt là "đường đi ảnh hưởng", "phản ứng thượng hạ" sẽ trở thành một trong những logic quan trọng trong giao dịch. - LLM không giỏi trong việc dự đoán. Là một mô hình ngôn ngữ thống kê, nó tự nhiên sẽ phóng đại "ý kiến chính thống" hoặc "tín hiệu tần suất cao". Quan sát của chúng tôi là AI luôn "quá lạc quan", trong khi phán đoán của Sara là: "Nếu nhiều người nói đội A sẽ thắng, mô hình sẽ nghĩ đội A đã thắng." Dự đoán là điểm mù lớn của LLM, không nên sử dụng nó như một động cơ tín hiệu. Ngược lại, các sản phẩm chatbot hỏi đáp mở như Tonghuashun hoặc Bobby của Rockflow, liệu có thể vượt qua giới hạn này hay không vẫn còn phải quan sát. 3. Chiến lược thay thế dự đoán: chuỗi nguyên nhân + trục thời gian có cấu trúc Nếu dự đoán là điểm yếu hiện tại của LLM, trong trường hợp không dự đoán và yêu cầu tính kịp thời cao, việc giữ lại các phần như lịch giao dịch và phần nguyên nhân & kết quả sẽ rất hữu ích. Suy luận xem một sự việc có liên quan đến một sự việc khác hay không, cũng như thứ tự tương đối của sự phát triển sự kiện và các yếu tố kích hoạt. Sự phán đoán này cũng đủ để xây dựng mô hình thiên lệch thông tin cho hệ thống giao dịch mà không cần dự đoán thực sự. 4. Công việc đánh giá: Đánh giá chắc chắn là một công việc rất tinh vi & có định hướng. Ví dụ, hạn chế cách diễn đạt: mỗi câu chỉ có một quan điểm, tránh câu phụ; ví dụ "gợi ý" = "quan điểm", tránh kết luận mơ hồ; ví dụ tóm tắt không được vượt quá X chữ, một khi có sắc thái chủ quan hoặc "diễn đạt có chủ ý", sẽ bị coi là sai. Tất nhiên, mức độ "quan trọng" của từng đơn vị nội dung cũng được định lượng, để giúp cho pipeline mà tôi sẽ nói dưới đây hoạt động tự động tốt hơn. Toàn bộ pipeline là bất đồng bộ, có thể thực hiện lại: chỉ cần kiểm tra đánh giá không đạt, nó sẽ tự động khởi động lại nhiệm vụ. Vì vậy, mô hình mỗi lần chỉ cần hoàn thành một nhiệm vụ nhỏ, chẳng hạn như xác định xem sự kiện có xảy ra hay không, hoặc xuất một tóm tắt không chứa gợi ý, thay vì hoàn thành tất cả suy luận và diễn đạt trong một vòng. Logic cơ bản của cách làm này là chia nhỏ việc tạo ra thành nhiều nhiệm vụ có thể kiểm tra, có thể tái sử dụng, mỗi nhiệm vụ đều có thể được kiểm tra thực tế, tối đa hóa việc tránh ảo giác và thiên lệch. 5. Từ prototype đến dây chuyền sản xuất nội dung AI chất lượng cao Sara chia sẻ quy trình hoàn chỉnh mà họ thực hiện hệ thống moderation: đầu tiên viết một prompt trong môi trường thử nghiệm, đặt ra năm câu hỏi, sau đó jailbreak hoặc phá vỡ cấu trúc hoặc quên bối cảnh, cho đến khi mô hình thể hiện hành vi ổn định và chất lượng tốt, prompt có thể dài tới vài trăm dòng. Khi prompt ban đầu ổn định, nó sẽ được giao cho đội ngũ kỹ thuật, tách template prompt thành các thành phần và đưa vào pipeline bất đồng bộ, chạy tất cả các câu hỏi khác để phân tích ngoại tuyến. Cuối cùng, bắt đầu thử nghiệm câu hỏi trực tiếp, để hệ thống hoạt động trong bối cảnh thực, lúc này mới chính thức tham gia đánh giá. Tóm lại, nếu bạn muốn xây dựng một hệ thống tổng hợp & đẩy thông tin hỗ trợ AI, đừng mơ tưởng rằng mô hình lớn sẽ trực tiếp đưa ra alpha; tất cả những gì sử dụng AI để dự đoán cho bạn biết nên mua tài sản nào đều là lừa đảo. Kiến thức thực sự là cấu trúc, quy trình và hệ thống kiểm tra, để LLM trở nên đáng tin cậy dưới cấu trúc.