ما هي البنية التحتية للشبكات التي تتطلبها أعباء عمل الذكاء الاصطناعي؟

إن المسرعات باهظة الثمن تكون بنفس سرعة الشبكة التي تغذيها، ويعتمد الشكل الذي يجب أن تبدو عليه تلك الشبكة على حجم العمل. يحتاج تدريب النموذج عبر العديد من الخوادم إلى شبكة مخصصة وسريعة للغاية ومنخفضة الكمون فيما بينها، لأن الخوادم تقضي الكثير من وقتها في تبادل النتائج. إن تشغيل نموذج مدرب للإجابة على الطلبات، والمعروف باسم الاستدلال، غالبًا ما يكون أقرب بكثير إلى شبكات مراكز البيانات العادية. يحتاج إعداد البيانات إلى إنتاجية عالية للتخزين. إن تحديد أي مما تفعله، وحركة المرور التي ينشئها كل منها، هو نقطة البداية؛ يتبع منه اختيار التكنولوجيا.

ولا تثبت سرعة الارتباط العالية في ورقة البيانات أن النظام بأكمله سيعمل. تلعب الطوبولوجيا وسلوك الازدحام وإنتاجية التخزين والتخطيط المادي دورها.

الحفاظ على وظائف الشبكة منفصلة

يستخدم أحد التصميمات المرجعية المنشورة، وهي بنية DGX SuperPOD من NVIDIA لجيل DGX H100، أربع شبكات منفصلة. وتختلف تصاميم البائعين الآخرين في التفاصيل، ولكن تقسيم العمل مفيد.

لا تحتاج كل عملية نشر إلى هذه البنية، ولكن فصل الاهتمامات هو نموذج يجب تقليده. يوضح الدليل أن الشبكة خارج النطاق تقع على نسيج خاص بها لأنه لا توجد حالة يحتاج فيها المستخدمون إلى الوصول إلى تلك المنافذ. إن شبكة الإدارة التي تظل متاحة عندما يكون نسيج الإنتاج مزدحمًا أو فاشلاً هو ما يسمح للمشغلين باستعادة النظام.

قم بالبناء للوحدة الكاملة، وليس للشراء اليوم

توصي البنية المرجعية لـ NVIDIA بأنه إذا تم شراء عدد خوادم أقل من وحدة كاملة قابلة للتطوير، فيجب أن يتم تصميم النسيج للوحدة الكاملة، بما في ذلك المفاتيح الطرفية والكابلات من الورقة إلى العمود الفقري، مع ترك المواضع غير المستخدمة فارغة، بحيث يظل توجيه حركة المرور والأداء ثابتين. إن تنمية الشبكة تدريجيًا حول كل ما تم شراؤه يمكن أن يؤدي إلى أداء غير متساوٍ يصعب تشخيصه.

أي انحراف عن البنية المعتمدة للمورد يحتاج إلى مراجعة هندسية. قد تتصرف المكونات التي تبدو قابلة للتبديل على الورق بشكل مختلف تحت الحمل.

تعد الكابلات والتخطيط جزءًا من الشبكة

الأقمشة عالية الأداء تفرض حدودًا مادية. يمكن للتصميمات المجمعة أن تحدد مسار الكابل الإجمالي لكل وصلة نسيج، كما أن قيد الطاقة الذي يجبر الرفوف على الانتشار يمكن أن يؤدي إلى إطالة الكابلات والتأثير على زمن الوصول. وبالتالي، تحتاج مسافات الارتباط المدعومة، وأنواع أجهزة الإرسال والاستقبال، وسعة الدرج، والوصول إلى الترقيع والصيانة إلى التثبيت قبل أن تصبح مواضع الحامل نهائية، مع حجز المساحة للمرحلة التالية.

رؤية عبر الحدود

عندما تعمل المهمة ببطء، قد يكون السبب هو نسيج الحوسبة أو التخزين أو الخوادم أو البرنامج أو المنشأة نفسها؛ يمكن أن يؤدي قيد التبريد إلى اختناق المعالجات. يجب أن تتيح المراقبة للفريق التمييز بين هذه الأمور، ويجب أن يوضح العقد من يقوم بالتحقيق في المشكلة التي تشمل العديد من الموردين.

قبول الأداء المفيد

تعتبر نتائج اختبار مستوى الارتباط ضرورية ولكنها غير كافية. يجب أن تقيس طريقة القبول، المتفق عليها مع فرق تكنولوجيا المعلومات والتطبيقات، ما تهتم به الشركة فعليًا: وقت إكمال المهمة أو الإنتاجية لأحمال العمل التمثيلية، والسلوك عند فشل الارتباط أو المحول، ووقت الاسترداد.