Sebelum membeli lebih banyak GPU, ketahui mengapa GPU saat ini sedang menunggu

Mesin mahal bisa sibuk dan tidak produktif

Penggunaan GPU adalah sinyal yang berguna, tetapi itu bukan tujuan dari layanan AI. Sebuah mesin dapat sangat sibuk dengan penarikan atau pekerjaan yang tidak memenuhi persyaratan kualitas aplikasi. Ia juga dapat terlihat ringan digunakan karena permintaan datang tidak seimbang atau bagian lain dari sistem yang menunda mereka.

Posisi kami adalah bahwa pertanyaan kapasitas pertama harus berapa banyak pekerjaan yang dapat diterima yang dilengkapi dengan layanan. hanya kemudian tim harus bertanya apa batas yang menghasilkan dan apakah GPU lain akan memperbaikinya.

Ikuti permintaan melalui sistem

Mengukur waktu yang dihabiskan untuk menerima data, mempersiapkan input, menunggu di kue, menjalankan inference dan menyelesaikan langkah downstream. memisahkan permintaan biasa dari yang tidak biasa menuntut. mencatat kegagalan dan latensi punggung bukannya bergantung hanya pada rata-rata.

Jika penyimpanan atau layanan CPU adalah botol, akselerator tambahan dapat meningkatkan kapasitas idle.Jika batas memori bersaing, perubahan jadwal atau konfigurasi memori yang berbeda mungkin lebih relevan dari komputer nominal tambahan.

Dukungan dari NVIDIA Dynamo untuk routing konteks-kesedaran dan inferensi yang didistribusikan menggambarkan bagaimana perangkat lunak dapat mengubah cara perangkat keras digunakan. ini tidak menjamin peningkatan untuk setiap aplikasi, tetapi ini memberikan alasan untuk memeriksa arsitektur layanan sebelum menganggap satu-satunya solusi adalah lebih banyak perangkat. NVIDIA Dynamo: Arsitektur inferensi teragih

Penggunaan harus meninggalkan ruang untuk layanan

Ada batasan untuk argumen ini.Sistem yang berhadapan dengan pelanggan mungkin membutuhkan kapasitas simpanan untuk kebocoran, kegagalan atau pemeliharaan.Menggerakkan setiap akselerator ke arah kenyang konstan dapat merusak waktu respons dan resiliensi.

Oleh karena itu, sasaran harus mengikuti persyaratan layanan.Sebuah band off-line sering dapat mentolerir perencanaan yang berbeda dari produk interaktif.Tidak juga harus dihakimi terhadap peratusan penggunaan universal.

Begitu juga, pengoptimuman memiliki biaya. menghabiskan bulan-bulan usaha teknik untuk menghindari satu tambahan perangkat keras yang terjangkau dapat menjadi keputusan bisnis yang buruk. perbandingan harus mencakup waktu staf dan nilai pengiriman produk lebih awal.

Membeli batasan yang telah Anda identifikasi

Setelah pengukuran, jawabannya mungkin lebih banyak GPU. Ini adalah kasus pembelian yang lebih kuat ketika tim dapat menjelaskan beban kapasitas baru akan membawa dan kondisi di mana akan diperlukan.

Tetaplah ramalan sederhana dengan permintaan biasa, permintaan puncak dan skenario pertumbuhan. ulangi setelah perubahan perangkat lunak dan model, karena perubahan ini dapat mengubah profil sumber daya.

Kami mendukung pembelian komputer yang signifikan ketika beban kerja menjamin itu. kami juga mendukung mengatur jalur data, menyesuaikan jadwal atau memilih sistem yang lebih besar terlebih dahulu. Tujuan komersial adalah layanan yang dijalankan dengan aman pada biaya yang dapat diterima, bukan rak yang hanya terlihat penuh sibuk.