Sebelum membeli lebih banyak GPU, ketahui mengapa GPU semasa menunggu

Mesin mahal boleh sibuk dan tidak produktif

Penggunaan GPU adalah isyarat yang berguna, tetapi ia bukan matlamat perkhidmatan AI. Sebuah mesin boleh menjadi sibuk dengan penarikan atau kerja yang tidak memenuhi keperluan kualiti aplikasi. Ia juga boleh kelihatan ringan digunakan kerana permintaan datang tidak seimbang atau bahagian lain sistem itu menangguhkan mereka.

Kedudukan kami adalah bahawa soalan kapasiti pertama sepatutnya berapa banyak kerja yang boleh diterima yang melengkapkan perkhidmatan. hanya kemudian pasukan sepatutnya bertanya apa had yang berpunca dan sama ada GPU lain akan memperbaikinya.

Ikuti permintaan melalui sistem

Mengukur masa yang dihabiskan untuk menerima data, menyediakan input, menunggu dalam tali, menjalankan inferensi dan melengkapkan langkah-langkah downstream. Memisahkan permintaan biasa daripada yang tidak biasa menuntut. Rekod kegagalan dan latan tali bukannya bergantung hanya pada purata.

Jika penyimpanan atau perkhidmatan CPU adalah botol, kelajuan tambahan boleh meningkatkan kapasiti idle.Jika had memori bersaing, perubahan jadual atau konfigurasi memori yang berbeza mungkin lebih relevan daripada komputer nominal tambahan.

Sokongan NVIDIA Dynamo untuk konteks-kesedaran routing dan inference yang didistribusikan menggambarkan bagaimana perisian boleh mengubah cara perkakasan digunakan. ia tidak menjamin peningkatan untuk setiap aplikasi, tetapi ia menyediakan alasan untuk memeriksa seni bina perkhidmatan sebelum menganggap satu-satunya penyelesaian adalah lebih banyak peranti. NVIDIA Dynamo: Arsitektur inferensi yang didistribusikan

Penggunaan mesti meninggalkan ruang untuk perkhidmatan

Sistem berhadapan dengan pelanggan mungkin memerlukan kapasiti simpanan untuk letupan, kegagalan atau penyelenggaraan. Menggerakkan setiap akselerator ke arah kenyang yang berterusan boleh merosakkan masa tindak balas dan ketahanan.

Oleh itu, sasaran hendaklah mengikut keperluan perkhidmatan.Sebuah tali batch offline sering boleh mentolerir jadual yang berbeza daripada produk interaktif.Tidak sepatutnya dinilai terhadap peratusan penggunaan universal.

Begitu juga, pengoptimuman mempunyai kos. menghabiskan bulan-bulan usaha kejuruteraan untuk mengelakkan satu tambahan perkakasan yang berpatutan boleh menjadi keputusan perniagaan yang buruk. perbandingan harus termasuk masa kakitangan dan nilai penghantaran produk lebih awal.

Membeli sekatan yang anda telah mengenal pasti

Selepas pengukuran, jawapan sebenarnya boleh menjadi lebih banyak GPU. Ini adalah kes pembelian yang lebih kuat apabila pasukan boleh menjelaskan beban kapasiti baru akan membawa dan keadaan di mana ia akan diperlukan.

Pastikan ramalan mudah dengan permintaan biasa, permintaan puncak dan senario pertumbuhan.Sila semak semula selepas perubahan perisian dan model, kerana perubahan ini boleh mengubah profil sumber.

Kami menyokong pembelian komputer penting apabila beban kerja menjamin ia. kami juga menyokong penyesuaian paip data, penyesuaian jadual atau memilih sistem yang lebih besar terlebih dahulu. matlamat komersial adalah perkhidmatan yang dijalankan dengan boleh dipercayai pada kos yang boleh diterima, bukan rak yang hanya kelihatan penuh sibuk.