在購買更多GPU之前,瞭解為什麼當前的GPU等待

一個昂貴的機器可以忙碌和不生產。

GPU使用是一種有用的訊號,但它不是人工智慧服務的目標. 一臺機器可以被退休或工作所困擾,不符合應用程式的質量要求. 它也可以看起來輕鬆使用,因為請求不平等或系統的其他部分正在延遲它們。

我們的立場是,第一個容量問題應該是服務完成的可接受工作多少。 只有那時,團隊應該問什麼限制結果,以及另一個GPU是否會改善它。

透過系統跟蹤請求

測量收到的資料的時間,準備輸入,等待曲線,執行結論和完成下流步驟,從不尋常要求的普通請求分開,記錄失敗和尾巴延遲而不是僅依賴平均值。

如果儲存或CPU服務是瓶子,則額外的加速器可能會增加IDLE容量;如果記憶體限制競爭,則時間表變化或不同記憶體配置可能比額外的名稱計算更有意義。

NVIDIA Dynamo 支援背景意識路由和分佈的概述,展示了軟體如何改變硬體使用的方式,這並不保證每個應用程式的改進,但它提供了一個理由來審查服務架構,然後假設唯一的解決方案是更多的裝置。 NVIDIA Dynamo:分散式參考架構

使用者必須為服務提供空間

一個客戶面對的系統可能需要儲備能力的爆發,故障或維護,驅動每個加速器向持續飽和可能損害響應時間和耐力。

因此,目標應該遵循服務要求. 一個離線包帶往往可以容忍與互動產品不同的安排. 也不應該對普遍使用率進行判斷。

同樣,最佳化有成本. 花了幾個月的工程努力,以避免一個可用的硬體補充可能是一個不好的業務決策. 比較應該包括員工時間和產品提前交付的價值。

購買您已識別的限制

測量後,答案可能實際上是更多的GPU,這是一個更強大的購買案例,當團隊能夠解釋新容量將承擔的負載和它將需要的條件。

保持一個簡單的預測,通常的需求,峰值需求和增長場景,在軟體和模型變更後重新審查它,因為這些變化可能會改變資源配置。

我們支援在工作負擔保證時購買重大計算機,我們也支援調整資料管道,調整時間表或首先選擇更好的系統,商業目標是以可靠的成本進行的服務,而不是一個看起來完全忙碌的架子。