Právě jsem vytvořil dokonalý MCP server pro multimodální AI. Umožňuje vám dělat RAG přes zvuk, video, obrázky a text! 100% open-source, zde je úplný rozpis... 👇

Než se do toho ponoříme, zde je krátká ukázka toho, co vytváříme! Technologický zásobník: - @pixeltablehq vybudovat multimodální infrastrukturu umělé inteligence - @crewAIInc orchestraci pracovního postupu agenta Rychle zkontrolujte vlákno a poté se vraťte sem pro podrobný přehled. 🚀

Za prvé, co je Pixeltable? Pixeltable je knihovna Pythonu pro multimodální umělou inteligenci, která zefektivňuje celý proces od ukládání dat až po provedení modelu. Zvládá obrázky, videa, text a zvuk bez námahy. Naše MCP servery jsou postaveny na Pixeltable.

Přehled systému: - Uživatel odešle dotaz - Router agent identifikuje modalitu a spustí specialistu - Specializovaný agent odešle relevantní kontext do generátoru odpovědí - Uživatel obdrží ucelenou odpověď Pojďme se ponořit do kódu!

1️⃣ Nastavení Dockeru Nasaďte server Pixeltable MCP pomocí aplikace Docker Compose. Toto nastavení spustí 4 servery MCP (dokument, zvuk, obraz a video) s přenosem událostí odeslaných serverem (SSE). Podívejte se na 👇 to

2️⃣ Připojte server MCP k CrewAI S našimi připravenými servery Pixeltable integrujme servery MCP jako nástroje do CrewAI! Je to docela snadné, podívejte se na 👇 to

Dále začneme definovat agenty... 3️⃣ Definujte agenta dotazů na router Router Agent směruje dotazy uživatelů v rámci našeho systému, analyzuje je a přiřazuje je příslušnému specializovanému agentovi. Podívejte se na 👇 to

4️⃣ Definování agenta specialisty na obrázky Video Specialist Agent využívá pro své nástroje Video MCP Server. Vytvoří index, vloží videa, zpracuje snímky i zvuk a zpřístupní je pro RAG. Podívejte se na 👇 to

Podobně můžeme definovat i další specialisty: Agenti specialisté na obraz, zvuk a dokumenty Použije se stejný kód, který je sdílen na konci.

5️⃣ Definujte činidlo pro syntézu odezvy Synthesis Agent slouží jako konečná vrstva kontroly kvality, která zdokonaluje výstupy vyhledávání od specializovaných agentů do uhlazených, uživatelsky přívětivých odpovědí. Podívejte se na 👇 to

6️⃣ Vytvořte agentický tok CrewAI Pojďme prozkoumat, jak propojit naše posádky agentů a servery Pixeltable MCP jako nástroje v rámci CrewAI Flow... 👇

Teď je video, které zpracujeme a uděláme RAG. Totéž můžete udělat pro jakoukoli modalitu, obrázky, zvuk atd. Nebyly by vyžadovány žádné změny. Zkontrolujte další tweet pro dotaz a získaný výstup... 👇

Hotový! Nyní se podívejme na náš multimodální, multiagentní pracovní postup poháněný MCP v akci 🚀 Zkontrolujte toto 👇

Pokud vám to připadalo užitečné, sdílejte to znovu se svou sítí. Najdi mě → @akshay_pachaar ✔️ Další poznatky a návody na LLM, AI agenty a strojové učení!