Tôi vừa xây dựng một máy chủ MCP tối ưu cho AI Đa phương thức. Nó cho phép bạn thực hiện RAG trên âm thanh, video, hình ảnh và văn bản! Mã nguồn hoàn toàn mở, đây là phân tích chi tiết...👇

Trước khi chúng ta bắt đầu, đây là một bản demo nhanh về những gì chúng ta đang xây dựng! Công nghệ: - @pixeltablehq để xây dựng hạ tầng AI đa phương thức - @crewAIInc để điều phối quy trình làm việc tự động Hãy nhanh chóng kiểm tra chủ đề, sau đó quay lại đây để có cái nhìn tổng quan chi tiết. 🚀

Trước hết, Pixeltable là gì? Pixeltable là thư viện Python hàng đầu cho AI Đa phương thức—tối ưu hóa toàn bộ quy trình từ lưu trữ dữ liệu đến thực thi mô hình. Xử lý hình ảnh, video, văn bản & âm thanh một cách dễ dàng. Các máy chủ MCP của chúng tôi được xây dựng dựa trên Pixeltable.

Tổng quan hệ thống: - Người dùng gửi một truy vấn - Đại lý định tuyến xác định phương thức và kích hoạt một chuyên gia - Đại lý chuyên gia gửi ngữ cảnh liên quan đến bộ tạo phản hồi - Người dùng nhận được một phản hồi mạch lạc Hãy cùng khám phá mã nguồn!

1️⃣ Cài đặt Docker Triển khai máy chủ Pixeltable MCP bằng Docker Compose. Cài đặt này khởi động 4 máy chủ MCP (tài liệu, âm thanh, hình ảnh, & video) với giao thức Server-Sent Events (SSE). Xem cái này 👇

2️⃣ Kết nối máy chủ MCP với CrewAI Với các máy chủ Pixeltable của chúng tôi đã sẵn sàng, hãy tích hợp các máy chủ MCP như những công cụ trong CrewAI! Điều này khá dễ dàng, hãy xem bên dưới 👇

Tiếp theo, chúng ta bắt đầu xác định các tác nhân... 3️⃣ Định nghĩa Tác nhân Truy vấn Bộ định tuyến Tác nhân Bộ định tuyến hướng dẫn các truy vấn của người dùng trong hệ thống của chúng tôi, phân tích chúng để gán mỗi truy vấn cho tác nhân chuyên gia phù hợp. Xem cái này 👇

4️⃣ Định nghĩa Đại lý Chuyên gia Hình ảnh Đại lý Chuyên gia Video sử dụng Máy chủ Video MCP cho các công cụ của nó. Nó tạo ra một chỉ mục, chèn video, xử lý cả khung hình và âm thanh và làm cho nó có sẵn cho RAG. Xem cái này 👇

Tương tự, chúng ta có thể định nghĩa các chuyên gia khác: Đại lý Chuyên gia Hình ảnh, Âm thanh và Tài liệu Mã giống nhau được sử dụng, được chia sẻ ở cuối.

5️⃣ Định nghĩa Đại lý Tổng hợp Phản hồi Đại lý Tổng hợp đóng vai trò là lớp kiểm soát chất lượng cuối cùng, tinh chỉnh các đầu ra truy xuất từ các đại lý chuyên biệt thành những phản hồi hoàn thiện, thân thiện với người dùng. Xem cái này 👇

6️⃣ Tạo luồng Agentic CrewAI Hãy cùng khám phá cách kết nối các nhóm đại lý của chúng ta và các máy chủ Pixeltable MCP như những công cụ trong luồng CrewAI...👇

Bây giờ đây là video mà chúng ta sẽ tiếp nhận và thực hiện RAG. Bạn có thể làm điều tương tự cho bất kỳ hình thức nào, hình ảnh, âm thanh, v.v. Không cần thay đổi gì cả. Kiểm tra tweet tiếp theo để xem truy vấn và kết quả thu được...👇

Xong rồi! Bây giờ hãy xem quy trình làm việc đa phương thức, đa tác nhân được hỗ trợ bởi MCP của chúng ta hoạt động như thế nào 🚀 Kiểm tra cái này 👇

Nếu bạn thấy nội dung này hữu ích, hãy chia sẻ lại với mạng lưới của bạn. Tìm tôi → @akshay_pachaar ✔️ Để biết thêm thông tin chi tiết và hướng dẫn về LLMs, AI Agents, và Machine Learning!