GPUカードか完全なAIサーバーか?

マシンで始めて、あなたはそれを実行します。

あなたがすでに適切なサーバーを実行している場合、資格のあるGPUを追加することは、最も直接アップグレードすることができます. あなたが空っぽのレイクから始まるなら、完全なシステムはあなたが1つの購入として評価する材料の請求書を提供します:GPU、CPU、メモリ、ストレージ、ネットワークおよびサポート。

決定的な問題は単にどれだけのGPUメモリを購入できるかではなく、機器が適合するかどうか、十分なパワーを得るかどうか、その熱制限の範囲内に滞在し、チームの必要性のソフトウェアを実行するかどうかです。

3つの異なるものが「AIハードウェア」として売られています。

たとえば、私たちのSupermicroゴールドシリーズの参照には、RTX PRO 6000 サーバー GPU が 2 つありますが、チャシスはより大きなインストールされた GPU をサポートすることができます。

部品リストの前に作業負荷を書き下げる

モデルやアプリケーション、正確さ、ターゲットコンクルネンス、および予想されるデータの量を記録します。 トレーニングから分離開発および概要の要件を記録します。 ソフトウェアチームにどのGPUアーキテクチャ、ドライバーおよびフレームワークの組み合わせが認証されているかを尋ねます。

加速器ごとにメモリとサーバー全体で合計メモリがさまざまな質問に答えます. 80GBの8台のデバイスはそれぞれ単一の640GBカードのように自動的に動作しません. アプリケーションの配布とデバイス間のコミュニケーションはまだ重要です. 同様に、DGX Sparkの統一システムメモリは、ディスカートGPUの専用メモリと直接比較されるべきではありません。

パフォーマンスが商業的に重要な場所で作業負荷のバランスマークを要求します. 仕様表は短縮リストを縮小することができます. アプリケーションのパフォーマンス、遅延、または総容量を決定することはできません。

システムクラスがあなたの環境と一致する

タワーは、地元の開発チームに適合することができ、1または2つのプロのカードを必要とします. 音響、室の換気、電力供給をチェックする:サーバークラスのタワーは自動的にオフィスで快適なワークステーションではありません. コンパクトなラックモンテーションのサーバーは、既存のラックにインストールされたGPUの小さなサポートセットが必要なときに意味があります。

統合された8加速器プラットフォームでは、全ての実装を価格します。 ラックスペースと深さ、鉄道、電気フィード、冷却、ストレージ、ネットワークアダプターを含みます。 誰がそれをインストールするかを決定し、ファームウェアを変更し、失敗したコンポーネントを処理します。

カタログのGPUファミリー、チャッシスサイズ、冷却フィルターを使用してオプションを狭める。その後、チャッシス仕様に印刷された最大の代わりに、明確にインストールされたGPU数を含む構成を要求します。

調査に何を置くか。

• アプリケーションまたはモデル、必要なソフトウェアスタックおよびターゲットワークロード。
• GPUファミリー、GPUごとにメモリ、インストール量。
• 既存のホストモデル、または新しいシステムで必要なCPU、RAM、およびストレージ。
• ラックまたはオフィス環境、利用可能な電力と冷却。
• 目的地、必要な配達日、条件優先順位およびサポート要件

特定の部品番号が義務付けられている場合は、それを含みます. 同等の構成を置き換える余地がある場合は、どの要件が固定され、どの要件が変更されるかを指定します。