Je viens de créer le serveur MCP ultime pour l'IA multimodale. Il vous permet de faire du RAG sur l'audio, la vidéo, les images et le texte ! 100 % open-source, voici le détail complet...👇

Avant de plonger, voici une rapide démonstration de ce que nous construisons ! Technologie utilisée : - @pixeltablehq pour construire l'infrastructure AI multimodale - @crewAIInc pour orchestrer le flux de travail agentique Vérifiez rapidement le fil, puis revenez ici pour un aperçu détaillé. 🚀

Tout d'abord, qu'est-ce que Pixeltable ? Pixeltable est une bibliothèque Python incontournable pour l'IA multimodale—simplifiant l'ensemble du pipeline, du stockage des données à l'exécution du modèle. Gère les images, les vidéos, le texte et l'audio sans effort. Nos serveurs MCP sont construits sur Pixeltable.

Aperçu du système : - L'utilisateur soumet une requête - L'agent routeur identifie la modalité et déclenche un spécialiste - L'agent spécialiste envoie le contexte pertinent au générateur de réponses - L'utilisateur reçoit une réponse cohérente Plongeons dans le code !

1️⃣ Configuration de Docker Déployez le serveur Pixeltable MCP en utilisant Docker Compose. Cette configuration démarre 4 serveurs MCP (document, audio, image et vidéo) avec le transport des événements envoyés par le serveur (SSE). Découvrez cela 👇

2️⃣ Connecter le serveur MCP à CrewAI Avec nos serveurs Pixeltable préparés, intégrons les serveurs MCP en tant qu'outils dans CrewAI ! C'est assez facile, regardez ça 👇

Ensuite, nous commençons à définir les agents... 3️⃣ Définir l'Agent de Requête de Routeur L'Agent de Routeur dirige les requêtes des utilisateurs au sein de notre système, les analysant pour les attribuer à l'agent spécialiste approprié. Regardez ça 👇

4️⃣ Définir l'Agent Spécialiste en Image L'Agent Spécialiste en Vidéo utilise le Serveur Video MCP pour ses outils. Il crée un index, insère des vidéos, traite à la fois les images et l'audio et les rend disponibles pour RAG. Regardez ça 👇

De même, nous pouvons définir les autres spécialistes : Agents spécialistes en image, audio et document Le même code est utilisé, qui est partagé à la fin.

5️⃣ Définir l'Agent de Synthèse de Réponse L'Agent de Synthèse sert de couche finale de contrôle qualité, affinant les résultats de récupération des agents spécialisés en réponses polies et conviviales. Regardez ça 👇

6️⃣ Créer le flux Agentic de CrewAI Explorons comment connecter nos équipes d'agents et les serveurs MCP de Pixeltable en tant qu'outils au sein du flux CrewAI...👇

Voici maintenant la vidéo que nous allons ingérer et sur laquelle nous allons faire du RAG. Vous pouvez faire de même pour n'importe quelle modalité, images, audio, etc. Aucun changement ne serait nécessaire. Vérifiez le tweet suivant pour la requête et le résultat obtenu...👇

Fait ! Voyons maintenant notre flux de travail multi-agents et multi-modaux alimenté par MCP en action 🚀 Vérifiez ceci 👇

Si vous l’avez trouvé perspicace, partagez-le à nouveau avec votre réseau. Trouvez-moi → @akshay_pachaar ✔️ Pour plus d’informations et de tutoriels sur les LLM, les agents d’IA et l’apprentissage automatique !