قبل شراء المزيد GPUs، تعرف لماذا المنتظرون الحاليون

الآلة المكلفة يمكن أن تكون مشغولة وغير منتجة

استخدام GPU هو إشارة مفيدة، ولكن هذا ليس الهدف من خدمة الذكاء الاصطناعي. يمكن أن تكون الآلة مشغولة بشدة من قبل الانسحاب أو العمل الذي لا يلبي متطلبات الجودة التطبيق. يمكن أيضا أن تبدو سهلة الاستخدام لأن الطلبات تصل غير متساوية أو جزء آخر من النظام يؤخرها.

موقفنا هو أن السؤال الأول عن القدرة يجب أن يكون كم عمل مقبول يكتمل الخدمة.فقط بعد ذلك ينبغي للفريق أن يسأل ما هي الحدود التي تنتج وما إذا كان GPU آخر سوف تحسن ذلك.

متابعة الطلب من خلال النظام

قياس الوقت الذي يقضيه في تلقي البيانات، وإعداد الإدخالات، والانتظار في الحواجب، وتشغيل الاستنتاج، وإكمال خطوات الانخفاض.فصل الطلبات العادية عن الطلبات غير المطلوبة بشكل غير عادي.تسجيل الفشل والمرور في الحواجب بدلا من الاعتماد فقط على المتوسطات.

إذا كان التخزين أو خدمة CPU هو علامة التبريد ، فقد يزيد التسارع الإضافي من قدرة الذاكرة.إذا كانت حدود الذاكرة تتنافس ، فقد يكون تغيير التخطيط أو تكوين الذاكرة مختلفًا أكثر أهمية من الحساب الاسمي الإضافي.

يظهر دعم NVIDIA Dynamo لتوجيه إدراك السياق والتأكيد الموزع كيف يمكن للبرمجيات تغيير طريقة استخدام الأجهزة.لا يضمن تحسينًا لكل تطبيق ، لكنه يوفر سببًا لفحص الهندسة المعمارية التي تخدم قبل أن يفترض أن العلاج الوحيد هو المزيد من الأجهزة. NVIDIA Dynamo: تركيب التقدير الموزع

يجب أن يترك الاستخدام مجالا للخدمة

قد يحتاج نظام وجه العميل إلى القدرة الاحتياطية للانفجارات أو الفشل أو الصيانة.يمكن أن يؤدي تشغيل كل تسارع نحو التعب المستمر إلى تلف أوقات الاستجابة والقدرة على التحمل.

يجب على الهدف أن يتبع متطلبات الخدمة.يمكن أن يتحمل شريط المجموعة غير المباشرة في كثير من الأحيان التخطيط المختلف عن المنتج التفاعلي.لا ينبغي أيضًا أن يُحكم ضد نسبة الاستخدام الشامل.

كما أن التحسين له تكلفة.إن قضاء أشهر من الجهود الهندسية لتجنب إضافة أجهزة بأسعار معقولة يمكن أن يكون قرارًا تجاريًا سيئًا.يجب أن يشمل المقارنة وقت الموظفين وقيمة تسليم المنتج في وقت مبكر.

شراء القيود التي حددتها

بعد القياس ، قد يكون الإجابة في الواقع المزيد من GPUs. وهذا هو حالة شراء أقوى عندما يمكن للفريق أن يفسر الحمل الذي ستحمله القدرة الجديدة والظروف التي ستكون فيها ضرورية.

الحفاظ على التنبؤ البسيط مع الطلب العادي، وارتفاع الطلب، وسيناريو النمو.مراجعة ذلك بعد تغيير البرمجيات والنماذج، لأن هذه التغييرات يمكن أن تغير ملف تعريف الموارد.

نحن ندعم شراء جهاز كمبيوتر كبير عندما يضمنه عبء العمل.نحن ندعم أيضًا تثبيت خط أنابيب البيانات ، وتعديل الجدول الزمني أو اختيار نظام أفضل الحجم أولاً.الهدف التجاري هو خدمة تعمل بثقة بسعر مقبول ، وليس سلة تبدو مجرد مشغولة تمامًا.