Voordat u meer GPUs koopt, moet u weten waarom de huidige wachten

Een dure machine kan druk en onproductief zijn

Het gebruik van GPU is een nuttig signaal, maar is niet het doel van een AI-service. Een machine kan zwaar bezet zijn door nieuwe pogingen of werkzaamheden die niet voldoen aan de kwaliteitseisen van de applicatie. Het kan er ook licht gebruikt uitzien omdat verzoeken ongelijkmatig binnenkomen of omdat een ander deel van het systeem ze vertraagt.

Ons standpunt is dat de eerste capaciteitsvraag zou moeten zijn hoeveel acceptabel werk de dienst voltooit. Pas dan moet het team zich afvragen wat de grenzen van dat resultaat zijn en of een andere GPU het zal verbeteren.

Volg het verzoek via het systeem

Meet de tijd die is besteed aan het ontvangen van gegevens, het voorbereiden van invoer, het wachten in wachtrijen, het uitvoeren van gevolgtrekkingen en het voltooien van stroomafwaartse stappen. Scheid gewone verzoeken van ongewoon veeleisende verzoeken. Registreer fouten en staartlatentie in plaats van alleen op gemiddelden te vertrouwen.

Als opslag of een CPU-service het knelpunt is, kunnen extra versnellers de inactieve capaciteit vergroten. Als het geheugen de gelijktijdigheid beperkt, kan een planningswijziging of een andere geheugenconfiguratie relevanter zijn dan extra nominale rekenkracht.

NVIDIA Dynamo's ondersteuning voor contextbewuste routering en gedistribueerde inferentie illustreert hoe software de manier kan veranderen waarop hardware wordt gebruikt. Het garandeert geen verbetering voor elke applicatie, maar het biedt wel een reden om de ondersteunende architectuur te onderzoeken voordat we ervan uitgaan dat de enige oplossing meer apparaten zijn. NVIDIA Dynamo: gedistribueerde inferentiearchitectuur ↗

Gebruik moet ruimte laten voor de dienst

Er is een grens aan dit argument. Een klantgericht systeem heeft mogelijk reservecapaciteit nodig voor uitbarstingen, storingen of onderhoud. Als u elk gaspedaal naar een constante verzadiging stuurt, kan dit de responstijden en de veerkracht schaden.

Het doel moet daarom de service-eis volgen. Een offline batchwachtrij kan vaak een andere planning tolereren dan een interactief product. Geen van beide mag worden beoordeeld aan de hand van een universeel gebruikspercentage.

Op dezelfde manier heeft optimalisatie kosten. Maandenlange technische inspanningen besteden aan het vermijden van één betaalbare hardware-toevoeging kan een slechte zakelijke beslissing zijn. De vergelijking moet de tijd van het personeel en de waarde van een snellere levering van het product omvatten.

Koop de beperking die u heeft geïdentificeerd

Na meting kan het antwoord inderdaad meer GPUs zijn. Dat is een sterker aankoopargument wanneer het team kan uitleggen welke last de nieuwe capaciteit zal dragen en onder welke omstandigheden deze nodig zal zijn.

Houd een eenvoudige voorspelling bij met de gewone vraag, de piekvraag en een groeiscenario. Bezoek het opnieuw na software- en modelwijzigingen, omdat die wijzigingen het resourceprofiel kunnen veranderen.

Wij ondersteunen het kopen van substantiële rekenkracht wanneer de werklast dit rechtvaardigt. We ondersteunen ook het repareren van de datapijplijn, het aanpassen van de planning of het eerst kiezen van een systeem met een grotere omvang. Het commerciële doel is een dienst die betrouwbaar presteert tegen acceptabele kosten, en niet een rack dat er alleen maar vol uitziet.