Karty GPU czy kompletny serwer AI?

Zacznij od maszyny, na której go uruchomisz

Jeśli już posiadasz odpowiedni serwer, dodanie kwalifikowanego GPU może być najbardziej bezpośrednią aktualizacją. Jeśli zaczynasz od pustego stojaka, kompletny system zapewnia zestawienie materiałów, które można ocenić jako jeden zakup: GPUs, CPUs, pamięć, pamięć masowa, sieć i wsparcie.

Decydującą kwestią nie jest po prostu to, ile pamięci GPU możesz kupić. Zależy to od tego, czy sprzęt będzie pasował, otrzyma wystarczającą moc, zmieści się w granicach temperatur i uruchomi oprogramowanie, którego potrzebuje Twój zespół. Przed dokonaniem wyboru między kartą a serwerem ustal te wymagania.

Trzy różne rzeczy sprzedawane jako „sprzęt AI”

Na przykład nasza seria referencyjna Supermicro Gold ma dwa serwery RTX PRO 6000 GPUs, chociaż obudowa może obsłużyć większą populację GPU. To rozróżnienie zmienia zarówno cenę, jak i użyteczną konfigurację.

Zapisz obciążenie pracą przed listą części

Zapisz modele lub aplikacje, precyzję, docelową współbieżność i oczekiwane ilości danych. Oddziel wymagania dotyczące rozwoju i wnioskowania od szkolenia. Zapytaj swój zespół programistów, jakie kombinacje architektury, sterowników i frameworka GPU sprawdzili.

Pamięć na akcelerator i pamięć zagregowana w serwerze odpowiadają na różne pytania. Osiem urządzeń o pojemności 80 GB każde nie zachowuje się automatycznie jak pojedyncza karta o pojemności 640 GB. Dystrybucja aplikacji i komunikacja pomiędzy urządzeniami nadal mają znaczenie. Podobnie, zunifikowanej pamięci systemowej DGX Spark nie należy bezpośrednio porównywać z dedykowaną pamięcią dyskretnego GPU.

Poproś o test porównawczy obciążenia, gdy wydajność jest ważna z komercyjnego punktu widzenia. Tabela specyfikacji może zawęzić krótką listę; nie może ustalić przepustowości, opóźnień ani całkowitej pojemności aplikacji.

Dopasuj klasę systemu do swojego środowiska

Wieża może być odpowiednia dla lokalnego zespołu programistów, który potrzebuje jednej lub dwóch profesjonalnych kart. Sprawdź akustykę, wentylację pomieszczenia i zasilanie elektryczne: wieża klasy serwerowej nie jest automatycznie cichą stacją roboczą w biurze. Kompaktowy serwer stelażowy ma sens, gdy w istniejącej szafie potrzebna jest mała wykwalifikowana populacja GPU.

W przypadku zintegrowanej platformy z ośmioma akceleratorami wyceń całe wdrożenie. Uwzględnij przestrzeń i głębokość szafy, szyny, źródła zasilania, chłodzenie, pamięć masową i karty sieciowe. Zdecyduj, kto go zainstaluje, dokona zmian w oprogramowaniu sprzętowym i zajmie się uszkodzonym komponentem.

Użyj filtrów rodziny GPU, rozmiaru obudowy i chłodzenia z katalogu, aby zawęzić opcje. Następnie poproś o konfigurację z wyraźną liczbą zainstalowanych GPU, a nie maksymalną podaną w specyfikacji podwozia.

Co wpisać w zapytaniu

• Aplikacja lub model, wymagany stos oprogramowania i docelowe obciążenie.
• Preferowana rodzina GPU, pamięć na GPU i zainstalowana ilość.
• Istniejący model hosta lub CPU, RAM i pamięć wymagana w nowym systemie.
• Środowisko szafowe lub biurowe, dostępne zasilanie i chłodzenie.
• Miejsce docelowe, wymagana data dostawy, preferencje dotyczące warunków i wymagania dotyczące wsparcia.

Jeżeli określony numer części jest obowiązkowy, należy go uwzględnić. Jeśli istnieje możliwość zastąpienia równoważnej konfiguracji, powiedz, które wymagania są stałe, a które mogą ulec zmianie.