GPU-kort eller en komplett AI-server?

Börja med maskinen du ska köra den i

Om du redan använder en lämplig server kan det vara den mest direkta uppgraderingen att lägga till en kvalificerad GPU. Om du startar från ett tomt ställ ger ett komplett system dig en materialförteckning som du kan bedöma som ett köp: GPUs, CPUs, minne, lagring, nätverk och support.

Den avgörande frågan är inte bara hur mycket GPU minne du kan köpa. Det är om utrustningen kommer att passa, få tillräckligt med ström, hålla sig inom sina termiska gränser och köra den mjukvara som ditt team behöver. Upprätta dessa krav innan du väljer mellan ett kort och en server.

Tre olika saker säljs som "AI hårdvara"

Till exempel har vår Supermicro Gold Series-referens två RTX PRO 6000-server GPUs, även om chassit kan stödja en större GPU-population. Den distinktionen ändrar både priset och den användbara konfigurationen.

Skriv ner arbetsbelastningen före dellistan

Registrera modellerna eller applikationerna, precision, målsamfällighet och förväntade datavolymer. Separera utvecklings- och slutledningskrav från utbildning. Fråga ditt programvaruteam vilka kombinationer av GPU arkitektur, drivrutiner och ramverk de har validerat.

Minne per accelerator och samlat minne över servern svarar på olika frågor. Åtta enheter med 80 GB vardera beter sig inte automatiskt som ett enda 640 GB-kort. Applikationsdistribution och kommunikation mellan enheter har fortfarande betydelse. På samma sätt bör DGX Sparks enhetliga systemminne inte jämföras direkt med det dedikerade minnet för en diskret GPU.

Be om ett benchmark för arbetsbelastning där prestanda är kommersiellt viktigt. En specifikationstabell kan begränsa en kortlista; det kan inte fastställa din applikations genomströmning, latens eller totala kapacitet.

Matcha systemklassen till din miljö

Ett torn kan passa ett lokalt utvecklingsteam som behöver ett eller två professionella kort. Kontrollera akustik, rumsventilation och elförsörjning: ett torn i serverklass är inte automatiskt en tyst kontorsstation. En kompakt rackserver är vettig när du behöver en liten kvalificerad GPU-population i ett befintligt rack.

För en integrerad plattform med åtta acceleratorer, prissätt hela distributionen. Inkludera rackutrymme och djup, skenor, elektriska matningar, kylning, lagring och nätverksadaptrar. Bestäm vem som ska installera det, ändra firmware och hantera en misslyckad komponent.

Använd katalogens GPU-familj, chassistorlek och kylfilter för att begränsa alternativen. Begär sedan en konfiguration med ett explicit antal installerade GPU, snarare än det maximala som är tryckt på chassitspecifikationen.

Vad ska man lägga i förfrågan

• Applikation eller modell, erforderlig mjukvarustack och målarbetsbelastning.
• Föredragen GPU-familj, minne per GPU och installerat antal.
• Befintlig värdmodell, eller CPU, RAM och lagring som krävs i ett nytt system.
• Rack eller kontorsmiljö, tillgänglig ström och kyla.
• Destination, obligatoriskt leveransdatum, skickpreferens och supportkrav.

Om ett specifikt artikelnummer är obligatoriskt, inkludera det. Om det finns utrymme att ersätta en likvärdig konfiguration, säg vilka krav som är fasta och vilka som kan ändras.