GPU-Karten oder ein kompletter AI-Server?

Beginnen Sie mit der Maschine, auf der Sie es ausführen möchten

Wenn Sie bereits einen geeigneten Server betreiben, kann das Hinzufügen eines qualifizierten GPU das direkteste Upgrade sein. Wenn Sie mit einem leeren Rack beginnen, erhalten Sie bei einem kompletten System eine Materialliste, die Sie als einen Kauf bewerten können: GPUs, CPUs, Arbeitsspeicher, Datenspeicherung, Netzwerk und Support.

Die entscheidende Frage ist nicht nur, wie viel GPU Speicher Sie kaufen können. Es geht darum, ob die Ausrüstung passt, ausreichend Strom erhält, innerhalb ihrer thermischen Grenzen bleibt und die Software ausführt, die Ihr Team benötigt. Stellen Sie diese Anforderungen fest, bevor Sie sich zwischen einer Karte und einem Server entscheiden.

Drei verschiedene Dinge, die als „AI-Hardware“ verkauft werden

Beispielsweise verfügt unsere Supermicro Gold Series-Referenz über zwei RTX PRO 6000 Server GPUs, obwohl das Gehäuse eine größere GPU-Population unterstützen kann. Diese Unterscheidung verändert sowohl den Preis als auch die nutzbare Konfiguration.

Notieren Sie den Arbeitsaufwand vor der Teileliste

Zeichnen Sie die Modelle oder Anwendungen, die Präzision, die Zielgleichzeitigkeit und die erwarteten Datenmengen auf. Trennen Sie Entwicklungs- und Inferenzanforderungen vom Training. Fragen Sie Ihr Softwareteam, welche GPU Architektur-, Treiber- und Framework-Kombinationen es validiert hat.

Der Speicher pro Beschleuniger und der Gesamtspeicher auf dem gesamten Server beantworten unterschiedliche Fragen. Acht Geräte mit jeweils 80 GB verhalten sich nicht automatisch wie eine einzelne 640-GB-Karte. Die Anwendungsverteilung und die Kommunikation zwischen Geräten sind nach wie vor wichtig. Ebenso sollte der einheitliche Systemspeicher von DGX Spark nicht direkt mit dem dedizierten Speicher eines diskreten GPU verglichen werden.

Fordern Sie einen Workload-Benchmark an, bei dem die Leistung kommerziell wichtig ist. Eine Spezifikationstabelle kann eine Auswahlliste eingrenzen; Es kann den Durchsatz, die Latenz oder die Gesamtkapazität Ihrer Anwendung nicht ermitteln.

Passen Sie die Systemklasse an Ihre Umgebung an

Ein Turm kann für ein lokales Entwicklungsteam geeignet sein, das eine oder zwei professionelle Karten benötigt. Akustik, Raumbelüftung und Stromversorgung prüfen: Ein Server-Tower ist nicht automatisch ein büroruhiger Arbeitsplatz. Ein kompakter Rack-Server ist sinnvoll, wenn Sie eine kleine qualifizierte GPU-Bestückung in einem vorhandenen Rack benötigen.

Für eine integrierte Acht-Beschleuniger-Plattform berechnen Sie den Preis für die gesamte Bereitstellung. Berücksichtigen Sie Rack-Platz und -Tiefe, Schienen, Stromanschlüsse, Kühlung, Speicher und Netzwerkadapter. Entscheiden Sie, wer es installiert, Firmware-Änderungen übernimmt und sich um eine ausgefallene Komponente kümmert.

Verwenden Sie die GPU-Familie, Gehäusegröße und Kühlfilter des Katalogs, um die Optionen einzugrenzen. Fordern Sie dann eine Konfiguration mit einer expliziten Anzahl installierter GPU an und nicht mit dem in der Gehäusespezifikation aufgedruckten Maximum.

Was in die Anfrage eingegeben werden soll

• Anwendung oder Modell, erforderlicher Software-Stack und Ziel-Workload.
• Bevorzugte GPU-Familie, Speicher pro GPU und installierte Menge.
• Vorhandenes Hostmodell oder CPU, RAM und Speicher in einem neuen System erforderlich.
• Rack- oder Büroumgebung, verfügbare Stromversorgung und Kühlung.
• Zielort, gewünschter Liefertermin, Konditionspräferenz und Supportbedarf.

Wenn eine bestimmte Teilenummer obligatorisch ist, geben Sie diese an. Wenn es Raum gibt, eine gleichwertige Konfiguration zu ersetzen, sagen Sie, welche Anforderungen festgelegt sind und welche sich ändern können.