Než si koupíte další GPUs, zjistěte, proč čekají ty aktuální

Drahý stroj může být vytížený a neproduktivní

Využití GPU je užitečný signál, ale není cílem služby AI. Stroj může být silně vytížen opakovanými pokusy nebo prací, která nesplňuje požadavky na kvalitu aplikace. Může také vypadat málo využitý, protože požadavky přicházejí nerovnoměrně nebo je jiná část systému zdržuje.

Naše stanovisko je, že první otázkou kapacity by mělo být, kolik přijatelné práce služba dokončí. Teprve poté by se měl tým zeptat, jaké limity tento výsledek omezuje a zda jej další GPU zlepší.

Postupujte podle požadavku systémem

Změřte čas strávený přijímáním dat, přípravou vstupů, čekáním ve frontách, spouštěním závěrů a dokončováním následných kroků. Oddělte běžné požadavky od neobvykle náročných. Zaznamenávejte selhání a latenci ocasu namísto spoléhání se pouze na průměry.

Pokud je úložiště nebo služba CPU úzkým hrdlem, další akcelerátory mohou zvýšit nečinnou kapacitu. Pokud paměť omezuje souběžnost, může být důležitější změna plánování nebo jiná konfigurace paměti než další nominální výpočet.

NVIDIA Podpora Dynama pro kontextové směrování a distribuované vyvozování ilustruje, jak může software změnit způsob používání hardwaru. Nezaručuje zlepšení pro každou aplikaci, ale poskytuje důvod prozkoumat obsluhující architekturu, než se předpokládá, že jediným řešením je více zařízení. NVIDIA Dynamo: architektura distribuovaného odvození ↗

Využití musí ponechat prostor pro službu

Tento argument má své omezení. Systém orientovaný na zákazníka může potřebovat volnou kapacitu pro prasknutí, selhání nebo údržbu. Řízení každého akcelerátoru směrem k konstantní saturaci může poškodit dobu odezvy a odolnost.

Cíl by proto měl odpovídat požadavku na službu. Offline dávková fronta může často tolerovat jiné plánování než interaktivní produkt. Ani jedno by nemělo být posuzováno proti univerzálnímu procentu využití.

Podobně i optimalizace něco stojí. Strávit měsíce inženýrského úsilí, abyste se vyhnuli jednomu cenově dostupnému přídavku hardwaru, může být špatným obchodním rozhodnutím. Srovnání by mělo zahrnovat čas zaměstnanců a hodnotu dřívějšího dodání produktu.

Kupte si omezení, které jste identifikovali

Po měření může být odpověď skutečně více GPUs. To je silnější případ nákupu, kdy tým může vysvětlit zatížení, které nová kapacita unese, a podmínky, za kterých bude potřeba.

Udržujte jednoduchou předpověď s běžnou poptávkou, špičkovou poptávkou a scénářem růstu. Po změnách softwaru a modelu jej znovu navštivte, protože tyto změny mohou změnit profil prostředků.

Podporujeme nákup značného množství výpočetní techniky, pokud to vyžaduje pracovní vytížení. Podporujeme také opravu datového kanálu, úpravu plánování nebo výběr vhodnějšího systému. Komerčním cílem je služba, která funguje spolehlivě za přijatelnou cenu, nikoli stojan, který pouze vypadá plně obsazený.