لقد قمت للتو ببناء خادم MCP النهائي لنظام الذكاء الاصطناعي متعدد الوسائط. يتيح لك القيام ب RAG عبر الصوت والفيديو والصور والنص! مفتوح المصدر بنسبة 100٪ ، إليك التفصيل الكامل ... 👇

قبل أن نتعمق في ، إليك عرض توضيحي سريع لما نقوم ببنائه! مكدس التكنولوجيا: - @pixeltablehq لبناء البنية التحتية الذكاء الاصطناعي متعددة الوسائط - @crewAIInc لتنسيق سير العمل الوكيل تحقق بسرعة من الموضوع ، ثم ارجع هنا للحصول على نظرة عامة مفصلة. 🚀

بادئ ذي بدء ، ما هو Pixeltable؟ Pixeltable هي مكتبة Python للانتقال إلى الذكاء الاصطناعي متعدد الوسائط - تبسيط المسار بالكامل من تخزين البيانات إلى تنفيذ النموذج. يتعامل مع الصور ومقاطع الفيديو والنصوص والصوت دون عناء. خوادم MCP الخاصة بنا مبنية على Pixeltable.

نظرة عامة على النظام: - يرسل المستخدم استفسارا - يحدد عامل جهاز التوجيه الطريقة ويقوم بتشغيل متخصص - يرسل الوكيل المتخصص السياق ذي الصلة إلى منشئ الاستجابة - يتلقى المستخدم استجابة متماسكة دعنا نتعمق في الكود!

1️⃣ إعداد Docker انشر خادم Pixeltable MCP باستخدام Docker Compose. يبدأ هذا الإعداد 4 خوادم MCP (مستند وصوت وصورة وفيديو) مع نقل الأحداث المرسلة من الخادم (SSE). تحقق من هذا 👇

2️⃣ قم بتوصيل خادم MCP ب CrewAI مع إعداد خوادم Pixeltable الخاصة بنا ، دعنا ندمج خوادم MCP كأدوات في CrewAI! إنه سهل إلى حد ما ، تحقق من ذلك 👇

بعد ذلك نبدأ في تحديد الوكلاء ... 3️⃣ تحديد وكيل استعلام جهاز التوجيه يوجه وكيل جهاز التوجيه استفسارات المستخدم داخل نظامنا ، ويحللها لتعيين كل منها إلى الوكيل المتخصص المناسب. تحقق من هذا 👇

4️⃣ تحديد وكيل متخصص الصور يستخدم Video Specialist Agent خادم Video MCP لأدواته. يقوم بإنشاء فهرس وإدراج مقاطع الفيديو ومعالجة كل من الإطارات والصوت وإتاحته ل RAG. تحقق من هذا 👇

وبالمثل ، يمكننا تحديد المتخصصين الآخرين: وكلاء متخصصون في الصور والصوت والمستندات يتم استخدام نفس الرمز ، والذي تتم مشاركته في النهاية.

5️⃣ تحديد عامل توليف الاستجابة يعمل عامل التوليف كطبقة نهائية لمراقبة الجودة ، حيث يقوم بتنقيح مخرجات الاسترجاع من العوامل المتخصصة إلى استجابات مصقولة وسهلة الاستخدام. تحقق من هذا 👇

6️⃣ إنشاء تدفق وكيل CrewAI دعنا نستكشف كيفية ربط أطقمنا من الوكلاء وخوادم Pixeltable MCP كأدوات داخل CrewAI Flow ... 👇

الآن هذا هو الفيديو الذي سنستوعبه ونقوم بعمل RAG. يمكنك أن تفعل الشيء نفسه مع أي طريقة أو صور أو صوت وما إلى ذلك. لن تكون هناك حاجة إلى أي تغييرات. تحقق من التغريدة التالية للاستعلام والمخرجات التي تم الحصول عليها ... 👇

منجز! الآن دعنا نرى سير العمل متعدد الوسائط والمتعدد الوكلاء الذي يعمل بنظام MCP قيد التنفيذ 🚀 تحقق من هذا 👇

إذا وجدت أنها ثاقبة ، فأعد مشاركتها مع شبكتك. تجدني → @akshay_pachaar ✔️ لمزيد من الأفكار والبرامج التعليمية حول LLMs ووكلاء الذكاء الاصطناعي والتعلم الآلي!