Bevor Sie weitere GPUs kaufen, finden Sie heraus, warum die aktuellen warten

Eine teure Maschine kann ausgelastet und unproduktiv sein

Die Nutzung von GPU ist ein nützliches Signal, aber nicht das Ziel eines AI-Dienstes. Ein Computer kann durch Wiederholungsversuche oder Arbeiten, die nicht den Qualitätsanforderungen der Anwendung entsprechen, stark ausgelastet sein. Es kann auch den Anschein erwecken, dass die Anfrage nur wenig genutzt wird, weil die Anfragen ungleichmäßig eintreffen oder ein anderer Teil des Systems sie verzögert.

Unser Standpunkt ist, dass die erste Kapazitätsfrage sein sollte, wie viel akzeptable Arbeit der Dienst erledigt. Erst dann sollte das Team fragen, welche Grenzen das Ergebnis darstellt und ob ein weiteres GPU es verbessern wird.

Folgen Sie der Anfrage durch das System

Messen Sie die Zeit, die für das Empfangen von Daten, das Vorbereiten von Eingaben, das Warten in Warteschlangen, das Ausführen von Inferenzen und das Abschließen nachgelagerter Schritte aufgewendet wird. Trennen Sie gewöhnliche Anforderungen von ungewöhnlich anspruchsvollen. Erfassen Sie Fehler und Latenzzeiten, anstatt sich nur auf Durchschnittswerte zu verlassen.

Wenn der Speicher oder ein CPU-Dienst den Engpass darstellt, können zusätzliche Beschleuniger die Leerlaufkapazität erhöhen. Wenn der Speicher die Parallelität einschränkt, kann eine Änderung der Planung oder eine andere Speicherkonfiguration relevanter sein als zusätzliche nominale Rechenleistung.

NVIDIA Dynamos Unterstützung für kontextsensitives Routing und verteilte Inferenz zeigt, wie Software die Art und Weise verändern kann, wie Hardware verwendet wird. Es garantiert nicht eine Verbesserung für jede Anwendung, bietet aber einen Grund, die Bereitstellungsarchitektur zu prüfen, bevor man davon ausgeht, dass die einzige Lösung in mehr Geräten besteht. NVIDIA Dynamo: verteilte Inferenzarchitektur ↗

Die Nutzung muss Raum für den Dienst lassen

Dieses Argument hat seine Grenzen. Ein kundenorientiertes System benötigt möglicherweise freie Kapazität für Bursts, Ausfälle oder Wartung. Wenn jedes Beschleunigersystem ständig in die Sättigung getrieben wird, kann dies zu einer Beeinträchtigung der Reaktionszeiten und der Belastbarkeit führen.

Das Ziel sollte daher der Serviceanforderung folgen. Eine Offline-Stapelwarteschlange kann oft eine andere Planung als ein interaktives Produkt tolerieren. Beides sollte nicht anhand eines universellen Nutzungsprozentsatzes beurteilt werden.

Ebenso ist die Optimierung mit Kosten verbunden. Monatelange technische Anstrengungen zu unternehmen, um eine kostengünstige Hardware-Erweiterung zu vermeiden, kann eine schlechte Geschäftsentscheidung sein. Der Vergleich sollte die Personalzeit und den Wert einer früheren Produktlieferung umfassen.

Kaufen Sie die von Ihnen identifizierte Einschränkung

Nach der Messung könnte die Antwort tatsächlich mehr GPUs sein. Dies ist ein stärkerer Kauffall, wenn das Team erklären kann, welche Last die neue Kapazität tragen wird und unter welchen Bedingungen sie benötigt wird.

Führen Sie eine einfache Prognose mit normaler Nachfrage, Spitzennachfrage und einem Wachstumsszenario durch. Besuchen Sie es nach Software- und Modelländerungen noch einmal, da diese Änderungen das Ressourcenprofil verändern können.

Wir unterstützen den Kauf erheblicher Rechenleistung, wenn die Arbeitslast dies erfordert. Wir unterstützen Sie auch dabei, die Datenpipeline zu reparieren, die Planung anzupassen oder zunächst ein System mit größerer Größe auszuwählen. Das kommerzielle Ziel ist ein Dienst, der zu akzeptablen Kosten zuverlässig funktioniert, und nicht ein Rack, das nur vollbesetzt aussieht.