GPU kaarten of een complete AI server?

Begin met de machine waarop u het gaat uitvoeren

Als u al over een geschikte server beschikt, kan het toevoegen van een gekwalificeerde GPU de meest directe upgrade zijn. Als u met een leeg rek begint, geeft een compleet systeem u een stuklijst die u als één aankoop kunt beoordelen: GPUs, CPUs, geheugen, opslag, netwerken en ondersteuning.

De beslissende vraag is niet simpelweg hoeveel GPU geheugen je kunt kopen. Het gaat erom of de apparatuur past, voldoende stroom krijgt, binnen de thermische limieten blijft en de software draait die uw team nodig heeft. Stel deze vereisten vast voordat u kiest tussen een kaart en een server.

Drie verschillende dingen verkocht als “AI hardware”

Onze Supermicro Gold Series-referentie heeft bijvoorbeeld twee RTX PRO 6000 Servers GPUs, hoewel het chassis een grotere GPU-populatie kan ondersteunen. Dat onderscheid verandert zowel de prijs als de bruikbare configuratie.

Noteer de werklast vóór de onderdelenlijst

Registreer de modellen of applicaties, precisie, doelconcurrency en verwachte datavolumes. Scheid de vereisten voor ontwikkeling en gevolgtrekking van training. Vraag uw softwareteam welke GPU architectuur-, driver- en framework-combinaties ze hebben gevalideerd.

Geheugen per accelerator en geaggregeerd geheugen op de server beantwoorden verschillende vragen. Acht apparaten met elk 80 GB gedragen zich niet automatisch als één enkele kaart van 640 GB. Applicatiedistributie en communicatie tussen apparaten zijn nog steeds van belang. Op dezelfde manier mag het uniforme systeemgeheugen van DGX Spark niet rechtstreeks worden vergeleken met het speciale geheugen van een discrete GPU.

Vraag om een ​​werklastbenchmark waarbij prestatie commercieel belangrijk is. Een specificatietabel kan een shortlist beperken; het kan de doorvoer, latentie of totale capaciteit van uw applicatie niet vaststellen.

Pas de systeemklasse aan uw omgeving aan

Een toren is geschikt voor een lokaal ontwikkelingsteam dat één of twee professionele kaarten nodig heeft. Controleer de akoestiek, ventilatie van de ruimte en de elektrische voeding: een toren van serverklasse is niet automatisch een kantoorstille werkplek. Een compacte rackserver is zinvol als u een kleine gekwalificeerde GPU-populatie nodig heeft in een bestaand rack.

Voor een geïntegreerd platform met acht accelerators moet u een prijs bepalen voor de gehele implementatie. Inclusief rackruimte en -diepte, rails, elektrische voedingen, koeling, opslag en netwerkadapters. Bepaal wie het zal installeren, eigenaar wordt van firmwarewijzigingen en een defect onderdeel afhandelt.

Gebruik de GPU-familie-, chassisgrootte- en koelfilters uit de catalogus om de opties te beperken. Vraag vervolgens een configuratie aan met een expliciet geïnstalleerd aantal GPU, in plaats van het maximum dat op de chassisspecificatie staat vermeld.

Wat moet u in de aanvraag vermelden?

• Applicatie of model, vereiste softwarestack en beoogde werklast.
• Voorkeursfamilie van GPU, geheugen per GPU en geïnstalleerd aantal.
• Bestaand hostmodel, of de CPU, RAM en opslag die vereist is in een nieuw systeem.
• Rack- of kantooromgeving, beschikbare stroom en koeling.
• Bestemming, gewenste leverdatum, conditievoorkeur en ondersteuningsvereiste.

Als een specifiek onderdeelnummer verplicht is, vermeld dit dan. Als er ruimte is om een ​​gelijkwaardige configuratie te vervangen, geef dan aan welke eisen vast staan ​​en welke kunnen veranderen.