Innan du köper fler GPUs, ta reda på varför de nuvarande väntar

En dyr maskin kan vara upptagen och improduktiv

GPU-användning är en användbar signal, men det är inte syftet med en AI-tjänst. En maskin kan vara hårt upptagen av omförsök eller arbete som inte uppfyller applikationens kvalitetskrav. Det kan också se lätt använt ut eftersom förfrågningar kommer ojämnt eller en annan del av systemet försenar dem.

Vår ståndpunkt är att den första kapacitetsfrågan bör vara hur mycket acceptabelt arbete tjänsten slutför. Först då bör teamet fråga vad som begränsar resultatet och om en annan GPU kommer att förbättra det.

Följ begäran genom systemet

Mät tiden för att ta emot data, förbereda inmatningar, vänta i köer, köra slutledning och slutföra nedströmssteg. Separera vanliga förfrågningar från ovanligt krävande. Registrera misslyckanden och svansfördröjning istället för att bara lita på medelvärden.

Om lagring eller en CPU-tjänst är flaskhalsen, kan ytterligare acceleratorer öka tomgångskapaciteten. Om minnet begränsar samtidighet kan en schemaläggningsändring eller annan minneskonfiguration vara mer relevant än ytterligare nominell beräkning.

NVIDIA Dynamos stöd för kontextmedveten routing och distribuerad slutledning illustrerar hur programvara kan förändra hur hårdvara används. Det garanterar inte en förbättring för varje applikation, men det ger en anledning att undersöka serveringsarkitekturen innan man antar att den enda lösningen är fler enheter. NVIDIA Dynamo: distribuerad inferensarkitektur ↗

Användningen måste lämna utrymme för tjänsten

Det finns en gräns för detta argument. Ett kundinriktat system kan behöva extra kapacitet för sprängningar, fel eller underhåll. Att köra varje gaspedalen mot konstant mättnad kan skada svarstider och motståndskraft.

Målet bör därför följa servicekravet. En offline-batchkö kan ofta tolerera annan schemaläggning från en interaktiv produkt. Ingen av dem ska bedömas mot en universell utnyttjandeprocent.

Likaså har optimering en kostnad. Att spendera månader av ingenjörsarbete för att undvika ett prisvärt hårdvarutillägg kan vara ett dåligt affärsbeslut. Jämförelsen bör inkludera personalens tid och värdet av att leverera produkten tidigare.

Köp den begränsning du har identifierat

Efter mätning kan svaret verkligen vara mer GPUs. Det är ett starkare köpfall när teamet kan förklara belastningen den nya kapaciteten kommer att bära och under vilka förutsättningar den kommer att behövas.

Håll en enkel prognos med vanlig efterfrågan, toppefterfrågan och ett tillväxtscenario. Gå tillbaka till den efter program- och modelländringar, eftersom dessa ändringar kan ändra resursprofilen.

Vi stöder köp av betydande datorer när arbetsbelastningen motiverar det. Vi stödjer också att fixa datapipeline, justera schemaläggning eller att först välja ett system med bättre storlek. Det kommersiella målet är en tjänst som fungerar tillförlitligt till en acceptabel kostnad, inte ett ställ som bara ser fullt upptaget ut.