Hãy xây dựng một ứng dụng RAG "Trò chuyện với mã của bạn" sử dụng Qwen3-Coder:

Trước khi bắt đầu, hãy xem những gì chúng ta sắp tạo ra! Công nghệ: - @Llama_Index để điều phối - @Milvusio để tự lưu trữ một vectorDB - @CleanlabAI codex để xác thực phản hồi - @OpenRouterAI để truy cập @Alibaba_Qwen 3 Coder. Đi nào! 🚀

Sơ đồ kiến trúc được trình bày dưới đây minh họa một số thành phần chính và cách chúng tương tác với nhau! Nó sẽ được theo sau bởi các mô tả chi tiết và mã cho từng thành phần:

1️⃣ & 2️⃣ : Đang tải cơ sở tri thức Cơ sở tri thức là một tập hợp thông tin liên quan và cập nhật mà phục vụ như một nền tảng cho RAG. Trong trường hợp của chúng tôi, đó là một kho lưu trữ GitHub! Dưới đây là cách chúng tôi chia nhỏ & phân tích mã nguồn của mình bằng cách sử dụng trình phân tích mã phân cấp của @Llama_Index:

3️⃣ Mô hình nhúng Nhúng là một đại diện có ý nghĩa của văn bản dưới dạng số. Mô hình nhúng chịu trách nhiệm tạo ra các nhúng cho các đoạn tài liệu & truy vấn của người dùng. Dưới đây là cách chúng tôi tải mô hình nhúng của mình:

4️⃣ Lập chỉ mục & lưu trữ Các embedding được tạo ra bởi mô hình embedding được lưu trữ trong một kho vector cung cấp khả năng truy xuất nhanh và tìm kiếm tương đồng bằng cách tạo một chỉ mục trên dữ liệu của chúng tôi. Chúng tôi sẽ sử dụng cơ sở dữ liệu vector tự lưu trữ @Milvusio:

5️⃣ Tạo một mẫu prompt Một mẫu prompt tùy chỉnh được sử dụng để tinh chỉnh phản hồi từ LLM & bao gồm cả ngữ cảnh:

6️⃣ Thiết lập một công cụ truy vấn Công cụ truy vấn nhận chuỗi truy vấn để sử dụng nó nhằm lấy bối cảnh liên quan và kết hợp chúng bằng cách sử dụng mẫu nhắc trước khi gửi đến LLM để tạo ra phản hồi cuối cùng! LLM được sử dụng ở đây là Qwen3-Coder mới nhất!

7️⃣ Giao diện Chat Chúng tôi tạo một giao diện người dùng bằng Streamlit để cung cấp một giao diện chat cho ứng dụng RAG của chúng tôi. Mã cho điều này & tất cả những gì chúng tôi đã thảo luận cho đến nay sẽ được chia sẻ trong tweet tiếp theo! Hãy xem điều này👇

Thưởng! Chúng tôi sẽ sử dụng codex AI của @CleanlabAI, một cách thông minh để xác thực và cải thiện các phản hồi của bạn. Chúng tôi đã sử dụng điều tương tự để lấy điểm độ tin cậy. Tích hợp liền mạch với bất kỳ ứng dụng trò chuyện agentic hoặc AI nào mà bạn đang phát triển. Xem cái này👇

Bạn có thể tìm thấy tất cả mã nguồn trong kho GitHub này: (đừng quên đánh dấu 🌟)

Cuối cùng, tôi sẽ để lại cho bạn sơ đồ kiến trúc của ứng dụng mà chúng tôi đã xây dựng. Hy vọng bạn đã thích hướng dẫn này. Hãy theo dõi để biết thêm nhiều điều thú vị nhé! 🥂

Nếu bạn thấy nội dung này hữu ích, hãy chia sẻ lại với mạng lưới của bạn. Tìm tôi → @akshay_pachaar ✔️ Để biết thêm thông tin chi tiết và hướng dẫn về LLMs, AI Agents, và Machine Learning!