La oss bygge en "Chat med koden" RAG-app ved hjelp av Qwen3-Coder:

Før vi begynner, ta en titt på hva vi er i ferd med å lage! Teknisk stabel: - @Llama_Index for orkestrering - @Milvusio å være vert for en vectorDB selv - @CleanlabAI kodeks for å validere svaret - @OpenRouterAI for å få tilgang til @Alibaba_Qwen 3 Coder. La oss gå! 🚀

Arkitekturdiagrammet som presenteres nedenfor illustrerer noen av nøkkelkomponentene og hvordan de samhandler med hverandre! Det vil bli fulgt av detaljerte beskrivelser og kode for hver komponent:

1️⃣ & 2️⃣ : Laster inn kunnskapsbasen En kunnskapsbase er en samling av relevant og oppdatert informasjon som fungerer som grunnlag for RAG. I vårt tilfelle er det et GitHub-depot! Slik deler og analyserer vi kodebasen vår ved hjelp av @Llama_Index hierarkiske kodeparser:

3️⃣ Innebyggingsmodellen Innebygging er en meningsfull representasjon av tekst i form av tall. Innebyggingsmodellen er ansvarlig for å opprette innebygginger for dokumentbiter og brukerspørringer. Slik laster vi inn innebyggingsmodellen:

4️⃣ Indeksering og lagring Innebygginger opprettet av innebyggingsmodellen lagres i et vektorlager som tilbyr rask henting og likhetssøk ved å opprette en indeks over dataene våre. Vi bruker en selvdriftet @Milvusio vektordatabase:

5️⃣ Opprette en spørsmålsmal En egendefinert spørsmålsmal brukes til å avgrense svaret fra LLM og inkludere konteksten også:

6️⃣ Sette opp en spørringsmotor Spørringsmotoren tar spørringsstreng for å bruke den til å hente relevant kontekst og kombinerer dem ved hjelp av ledetekstmalen før den sendes til LLM som genererer endelig svar! LLM-en som brukes her er den nyeste Qwen3-koderen!

7️⃣ Chat-grensesnittet Vi lager et brukergrensesnitt ved hjelp av Streamlit for å gi et chat-grensesnitt for RAG-applikasjonen vår. Koden for dette og alt vi har diskutert så langt er delt i neste tweet! Sjekk dette ut👇

Bonus! Vi vil bruke @CleanlabAI AI-kodeks, en smart måte å validere og forbedre svarene dine på. Vi har brukt det samme for å få pålitelighetspoengsummen. Integreres sømløst med alle agent- eller AI-chatprogrammer du utvikler. Sjekk dette ut👇

Du finner all koden i dette GitHub-repositoriet: (ikke glem å spille hovedrollen 🌟)

Til slutt vil jeg gi deg arkitekturdiagrammet til appen vi har bygget. Håper du likte denne opplæringen. Følg med for mer! 🥂

Hvis du syntes det var innsiktsfullt, kan du dele det med nettverket ditt. Finn meg → @akshay_pachaar ✔️ For mer innsikt og opplæringer om LLM-er, AI-agenter og maskinlæring!