もっとGPUを購入する前に、なぜ現在のGPUが待っているのかを知る

高価な機械は忙しく、生産的でないかもしれない。

GPUの使用は有用なシグナルですが、それはAIサービスの目的ではありません。 機械は、アプリケーションの品質要件を満たさない退職や作業によって重く占められます。 アプリケーションの要求が不均衡に到着するか、またはシステムの他の部分がそれらを遅らせているため、軽く使用されるように見えるかもしれません。

私たちの立場は、最初の容量の問題は、サービスが完了するのにどれだけ受け入れられるかを問うべきです。その後、チームはその結果の制限を問うべきであり、他のGPUがそれを改善するかどうかを問うべきです。

システムを通じて要求に従う

データを受け取る時間を測定し、入力を準備し、曲線で待つ、下流ステップを実行し、下流ステップを完了します。 通常の要求を異常に要求するものから分離します。 記録失敗と尾の遅延は、平均だけに依存する代わりに。

ストレージまたはCPUサービスがボトルネックである場合、追加の加速器がアイドル容量を増やす可能性があります. メモリ制限が競争する場合、スケジュールの変更または別のメモリ構成が追加の名称コンピュータよりも重要である可能性があります。

NVIDIA Dynamoのコンテキスト・アウト・ルーティング・ディストリビューション・インフェレンスのサポートは、ソフトウェアがハードウェアの使用方法をどのように変えるかを示していますが、それぞれのアプリケーションの改善を保証するものではありませんが、唯一の解決策がより多くのデバイスであると仮定する前に、サーバーアーキテクチャを検討する理由を提供しています。 NVIDIA ダイナモ:分布インフェレンスアーキテクチャ

利用はサービスのためのスペースを残す必要があります。

この議論には限界があります. 顧客対面システムは、爆発、失敗、または維持のための予備容量を必要とするかもしれません. 常に飽和する方向に各加速器を動かすことは、反応時間と耐久性を損なう可能性があります。

したがって、ターゲットはサービスの要件に従うべきです. オフラインバッチのスイッチはしばしば、インタラクティブな製品と異なるスケジュールを許すことができます. 普遍的な使用率に対して判断されるべきではありません。

同様に、最適化には費用がかかります. 手頃な価格のハードウェアの追加を避けるために数ヶ月のエンジニアリングの努力を費やすことは、悪いビジネス決定かもしれません. 比較には、スタッフの時間と製品を早く配達する価値が含まれなければなりません。

あなたが発見した制限を購入する

測定後、答えは実際により多くのGPUになる可能性があります. チームが負荷を説明することができ、新しい容量が運ぶ条件と必要となる条件を説明することができる場合、これはより強力な購入ケースです。

通常の需要、ピーク需要、および成長シナリオでシンプルな予測を維持し、ソフトウェアやモデルの変更の後、その変更がリソースプロファイルを変える可能性があるため、それを再検討してください。

私たちは、作業負荷がそれを保証するときに重要なコンピュータを購入するのをサポートします. 私たちはまた、データパイプラインを固定し、スケジュールを調整したり、より良いサイズのシステムを選択するのをサポートします. 商業的な目標は、信頼性の高いコストで実行するサービスであり、単に完全に忙しいように見えるレイクではありません。