Cartes GPU ou un serveur AI complet ?

Commencez par la machine sur laquelle vous allez l'exécuter

Si vous exploitez déjà un serveur approprié, l'ajout d'un GPU qualifié peut être la mise à niveau la plus directe. Si vous partez d'un rack vide, un système complet vous fournit une nomenclature à évaluer comme un seul achat : GPUs, CPUs, mémoire, stockage, mise en réseau et support.

La question décisive n'est pas simplement la quantité de mémoire GPU que vous pouvez acheter. Il s'agit de savoir si l'équipement sera adapté, recevra suffisamment d'énergie, restera dans ses limites thermiques et exécutera les logiciels dont votre équipe a besoin. Établissez ces exigences avant de choisir entre une carte et un serveur.

Trois choses différentes vendues comme « matériel AI »

Par exemple, notre référence Supermicro Gold Series comporte deux serveurs RTX PRO 6000 GPUs, bien que le châssis puisse prendre en charge une population GPU plus importante. Cette distinction change à la fois le prix et la configuration utilisable.

Notez la charge de travail avant la liste des pièces

Enregistrez les modèles ou applications, la précision, la concurrence cible et les volumes de données attendus. Séparez les exigences de développement et d’inférence de la formation. Demandez à votre équipe logicielle quelles combinaisons d'architecture, de pilote et de framework GPU elles ont validées.

La mémoire par accélérateur et la mémoire globale sur le serveur répondent à différentes questions. Huit appareils de 80 Go chacun ne se comportent pas automatiquement comme une seule carte de 640 Go. La distribution des applications et la communication entre les appareils restent importantes. De même, la mémoire système unifiée de DGX Spark ne doit pas être comparée directement à la mémoire dédiée d'un GPU discret.

Demandez une référence de charge de travail où les performances sont commercialement importantes. Un tableau de spécifications peut affiner une liste restreinte ; il ne peut pas établir le débit, la latence ou la capacité totale de votre application.

Faites correspondre la classe système à votre environnement

Une tour peut convenir à une équipe de développement local qui a besoin d'une ou deux cartes professionnelles. Vérifiez l'acoustique, la ventilation de la pièce et l'alimentation électrique : une tour de type serveur n'est pas automatiquement un poste de travail silencieux. Un serveur rack compact est judicieux lorsque vous avez besoin d'une petite population GPU qualifiée dans un rack existant.

Pour une plate-forme intégrée à huit accélérateurs, tarifez l'ensemble du déploiement. Incluez l'espace et la profondeur du rack, les rails, les alimentations électriques, le refroidissement, le stockage et les adaptateurs réseau. Décidez qui l'installera, s'appropriera les modifications du micrologiciel et gérera un composant défaillant.

Utilisez les filtres de famille GPU, de taille de châssis et de refroidissement du catalogue pour affiner les options. Demandez ensuite une configuration avec un nombre GPU installé explicite, plutôt que le maximum imprimé sur les spécifications du châssis.

Que mettre dans l'enquête

• Application ou modèle, pile logicielle requise et charge de travail cible.
• Famille GPU préférée, mémoire par GPU et quantité installée.
• Modèle d'hôte existant, ou les CPU, RAM et le stockage requis dans un nouveau système.
• Environnement rack ou bureau, alimentation et refroidissement disponibles.
• Destination, date de livraison requise, préférence de condition et exigence de support.

Si un numéro de pièce spécifique est obligatoire, incluez-le. S'il est possible de remplacer une configuration équivalente, indiquez quelles exigences sont fixes et lesquelles peuvent changer.