Prima di acquistare altri GPUs, scopri perché quelli attuali stanno aspettando

Una macchina costosa può essere impegnata e improduttiva

L'utilizzo di GPU è un segnale utile, ma non è l'obiettivo di un servizio AI. Una macchina può essere molto occupata da nuovi tentativi o da lavori che non soddisfano i requisiti di qualità dell'applicazione. Può anche sembrare poco utilizzato perché le richieste arrivano in modo non uniforme o un'altra parte del sistema le sta ritardando.

La nostra posizione è che la prima domanda sulla capacità dovrebbe riguardare la quantità di lavoro accettabile completato dal servizio. Solo allora il team dovrebbe chiedersi quali limiti risultano e se un altro GPU migliorerà il risultato.

Seguire la richiesta attraverso il sistema

Misurare il tempo impiegato nella ricezione dei dati, nella preparazione degli input, nell'attesa in coda, nell'esecuzione dell'inferenza e nel completamento delle fasi downstream. Separa le richieste ordinarie da quelle insolitamente impegnative. Registra i guasti e la latenza della coda invece di fare affidamento solo sulle medie.

Se il collo di bottiglia è l'archiviazione o un servizio CPU, ulteriori acceleratori potrebbero aumentare la capacità inattiva. Se la memoria limita la concorrenza, una modifica della pianificazione o una diversa configurazione della memoria potrebbero essere più rilevanti del calcolo nominale aggiuntivo.

NVIDIA Il supporto di Dynamo per il routing sensibile al contesto e l'inferenza distribuita illustra come il software può cambiare il modo in cui viene utilizzato l'hardware. Non garantisce un miglioramento per ogni applicazione, ma fornisce un motivo per esaminare l'architettura di servizio prima di presumere che l'unico rimedio sia rappresentato da più dispositivi. NVIDIA Dynamo: architettura di inferenza distribuita ↗

L'utilizzo deve lasciare spazio al servizio

C'è un limite a questo argomento. Un sistema rivolto al cliente potrebbe necessitare di capacità di riserva per picchi, guasti o manutenzione. Guidare ogni acceleratore verso una saturazione costante può danneggiare i tempi di risposta e la resilienza.

La destinazione dovrebbe quindi seguire il requisito del servizio. Una coda batch offline può spesso tollerare una pianificazione diversa da un prodotto interattivo. Nessuno dei due dovrebbe essere giudicato rispetto a una percentuale di utilizzo universale.

Allo stesso modo, l'ottimizzazione ha un costo. Spendere mesi di impegno tecnico per evitare un'aggiunta hardware a prezzi accessibili potrebbe essere una decisione aziendale sbagliata. Il confronto dovrebbe includere il tempo del personale e il valore di consegnare il prodotto prima.

Acquista il vincolo che hai individuato

Dopo la misurazione, la risposta potrebbe effettivamente essere più GPUs. Si tratta di un caso di acquisto più forte quando il team può spiegare il carico che la nuova capacità trasporterà e le condizioni in cui sarà necessaria.

Mantieni una previsione semplice con domanda ordinaria, domanda di picco e uno scenario di crescita. Rivisitalo dopo le modifiche al software e al modello, poiché tali modifiche possono alterare il profilo della risorsa.

Supportiamo l'acquisto di risorse di elaborazione consistenti quando il carico di lavoro lo richiede. Supportiamo anche la correzione della pipeline di dati, la modifica della pianificazione o la scelta preventiva di un sistema di dimensioni migliori. L'obiettivo commerciale è un servizio che offra prestazioni affidabili a un costo accettabile, non uno scaffale che sembri semplicemente completamente occupato.