Zanim kupisz kolejne GPUs, dowiedz się dlaczego obecne czekają

Droga maszyna może być zajęta i nieproduktywna

Wykorzystanie GPU jest użytecznym sygnałem, ale nie jest celem usługi AI. Maszyna może być mocno zajęta ponownymi próbami lub pracą, która nie spełnia wymagań jakościowych aplikacji. Może również wyglądać na lekko zużyty, ponieważ żądania docierają nierównomiernie lub inna część systemu je opóźnia.

Nasze stanowisko jest takie, że pierwszą kwestią dotyczącą wydajności powinno być to, ile akceptowalnej pracy wykona dana usługa. Dopiero wtedy zespół powinien zadać sobie pytanie, co ogranicza ten wynik i czy kolejny GPU go poprawi.

Postępuj zgodnie z żądaniem w systemie

Zmierz czas spędzony na odbieraniu danych, przygotowywaniu danych wejściowych, oczekiwaniu w kolejkach, przeprowadzaniu wnioskowania i wykonywaniu kolejnych etapów. Oddziel zwykłe prośby od niezwykle wymagających. Rejestruj awarie i opóźnienia, zamiast polegać wyłącznie na średnich.

Jeśli wąskim gardłem jest pamięć lub usługa CPU, dodatkowe akceleratory mogą zwiększyć pojemność bezczynną. Jeśli pamięć ogranicza współbieżność, zmiana harmonogramu lub inna konfiguracja pamięci może być bardziej istotna niż dodatkowe nominalne obliczenia.

NVIDIA Obsługa przez dodatek Dynamo routingu kontekstowego i wnioskowania rozproszonego ilustruje, jak oprogramowanie może zmienić sposób używania sprzętu. Nie gwarantuje to poprawy w przypadku każdej aplikacji, ale daje powód do sprawdzenia architektury obsługującej, zanim przyjmie się, że jedynym lekarstwem jest więcej urządzeń. NVIDIA Dynamo: architektura wnioskowania rozproszonego ↗

Wykorzystanie musi pozostawić miejsce na usługę

Istnieje granica tego argumentu. System skierowany do klienta może potrzebować wolnej mocy obliczeniowej na wypadek impulsów, awarii lub konserwacji. Doprowadzanie każdego akceleratora do stałego nasycenia może pogorszyć czas reakcji i odporność.

Cel powinien zatem spełniać wymagania dotyczące usługi. Kolejka wsadowa offline często toleruje harmonogram inny niż w przypadku produktu interaktywnego. Żadnego z nich nie należy oceniać na podstawie uniwersalnego procentu wykorzystania.

Podobnie optymalizacja ma swoją cenę. Poświęcanie miesięcy wysiłków inżynieryjnych na uniknięcie jednego niedrogiego dodatku sprzętowego może być błędną decyzją biznesową. Porównanie powinno uwzględniać czas personelu i wartość szybszego dostarczenia produktu.

Kup zidentyfikowane ograniczenie

Po pomiarze odpowiedź może rzeczywiście być większa niż GPUs. Jest to mocniejszy przypadek zakupu, gdy zespół może wyjaśnić obciążenie, jakie będzie przenosić nowa pojemność, oraz warunki, w jakich będzie ona potrzebna.

Prowadź prostą prognozę ze zwykłym popytem, ​​szczytowym popytem i scenariuszem wzrostu. Odwiedź go ponownie po zmianach oprogramowania i modelu, ponieważ zmiany te mogą zmienić profil zasobów.

Wspieramy zakup znacznych zasobów obliczeniowych, gdy wymaga tego obciążenie pracą. Wspieramy także naprawianie potoku danych, dostosowywanie harmonogramu lub wybór systemu o większym rozmiarze. Celem komercyjnym jest usługa, która działa niezawodnie po akceptowalnych kosztach, a nie szafa, która po prostu wygląda na w pełni zajętą.