Karty GPU nebo kompletní server AI?

Začněte se strojem, ve kterém jej spustíte

Pokud již provozujete vhodný server, přidání kvalifikovaného GPU může být nejpřímější upgrade. Pokud začínáte z prázdného stojanu, kompletní systém vám poskytne kusovník, který můžete posoudit jako jeden nákup: GPUs, CPUs, paměť, úložiště, síť a podpora.

Rozhodující otázkou není jen to, kolik paměti GPU si můžete koupit. Jde o to, zda se zařízení vejde, bude mít dostatek energie, zůstane v teplotních limitech a bude provozovat software, který váš tým potřebuje. Před výběrem mezi kartou a serverem si tyto požadavky stanovte.

Tři různé věci prodávané jako „AI hardware“

Například naše reference Supermicro Gold Series má dva servery RTX PRO 6000 GPUs, ačkoli šasi může podporovat větší populaci GPU. Toto rozlišení mění jak cenu, tak použitelnou konfiguraci.

Zapište si pracovní vytížení před seznam dílů

Zaznamenejte modely nebo aplikace, přesnost, cílovou souběžnost a očekávané objemy dat. Oddělte požadavky na vývoj a odvození od školení. Zeptejte se svého softwarového týmu, které kombinace architektury, ovladače a rámce GPU ověřili.

Paměť na akcelerátor a agregovaná paměť na serveru odpovídají na různé otázky. Osm zařízení s 80GB každé se automaticky nechovají jako jedna 640GB karta. Stále záleží na distribuci aplikací a komunikaci mezi zařízeními. Podobně by sjednocená systémová paměť Sparku DGX neměla být přímo srovnávána s vyhrazenou pamětí diskrétní GPU.

Požádejte o benchmark pracovního zatížení, kde je výkon komerčně důležitý. Tabulka specifikací může zúžit užší výběr; nemůže určit propustnost, latenci nebo celkovou kapacitu vaší aplikace.

Přizpůsobte systémovou třídu svému prostředí

Věž může vyhovovat místnímu vývojovému týmu, který potřebuje jednu nebo dvě profesionální karty. Zkontrolujte akustiku, ventilaci místnosti a elektrické napájení: věž třídy serverů není automaticky pracovní stanicí s tichou kanceláří. Kompaktní rackový server má smysl, když potřebujete malou kvalifikovanou GPU populaci ve stávajícím racku.

U integrované platformy s osmi akcelerátory ocente celé nasazení. Zahrňte prostor a hloubku racku, kolejnice, elektrické napájení, chlazení, úložiště a síťové adaptéry. Rozhodněte, kdo jej nainstaluje, vlastní změny firmwaru a zpracuje vadnou součást.

K zúžení možností použijte katalogové filtry GPU-rodina, velikost podvozku a chladicí filtry. Poté požádejte o konfiguraci s explicitním instalovaným počtem GPU, nikoli s maximálním vytištěným na specifikaci šasi.

Co uvést v dotazu

• Aplikace nebo model, požadovaný zásobník softwaru a cílové pracovní zatížení.
• Preferovaná rodina GPU, paměť na GPU a instalované množství.
• Stávající model hostitele nebo CPU, RAM a úložiště požadované v novém systému.
• Rack nebo kancelářské prostředí, dostupné napájení a chlazení.
• Místo určení, požadované datum dodání, preference stavu a požadavek na podporu.

Pokud je specifické číslo dílu povinné, uveďte ho. Pokud existuje prostor pro nahrazení ekvivalentní konfigurace, řekněte, které požadavky jsou pevné a které se mohou změnit.