Konteks panjang mengubah inferensi menjadi masalah manajemen memori

Model yang sama dapat menghasilkan beban yang berbeda

Sebuah pertanyaan pendek dan analisis dokumen yang panjang dapat menggunakan model yang sama sambil menempatkan permintaan yang sangat berbeda pada sistem. lebih banyak konteks harus diproses, dan layanan harus mempertahankan kondisi kerja karena menghasilkan jawaban.

Itulah sebabnya demonstrasi dengan satu prompt adalah dasar yang lemah untuk mengukur layanan produksi. profil memori tergantung pada campuran permintaan dan pengaturan yang digunakan, bukan hanya pada parameter yang dicetak pada kartu model.

Prefill dan decode melakukan pekerjaan yang berbeda

Inference biasanya membedakan proses input, sering disebut prefill, dari generasi berikutnya token output, atau decode. tahap-tahap ini dapat mendapat manfaat dari berbagai jadwal dan pilihan sumber daya. arsitektur Dynamo NVIDIA secara eksplisit mendukung inference disaggregated, routing yang mempertimbangkan konteks cache dan manajemen cache di seluruh sisi memori. NVIDIA Dynamo: Arsitektur inferensi teragih

Ini adalah bukti bahwa stack perangkat lunak sedang menangani masalah.Ia bukan klaim bahwa memisahkan tahap akan meningkatkan setiap pengembangan.Koreksi tambahan dan pergerakan data memiliki biaya, dan layanan kecil mungkin tidak membutuhkan kompleksitas desain teragih.

Konteks tersembunyi berguna, tetapi tidak gratis

Mengambil kembali status yang sesuai dapat menghindari kerja berulang. memegang bahwa negara mengkonsumsi sumber daya, dan memindahkannya antara lokasi atau memori tiers dapat memperkenalkan lalu lintas dan latensi. manfaatnya tergantung pada apakah permintaan benar-benar menggunakan konteks yang cukup untuk membenarkan perjanjian.

Asisten dokumen yang berulang kali bertanya pertanyaan tentang bahan yang sama mungkin bertindak berbeda dari layanan yang menerima permintaan yang tidak terkait. referensi harus mewakili pola yang diharapkan untuk digunakan kembali daripada menganggap setiap permintaan adalah hit cache.

Ini juga harus mencakup apa yang terjadi ketika cache dingin, penuh atau tidak tersedia. kondisi ini penting selama restart dan permintaan puncak, ketika layanan sering memiliki kapasitas simpanan yang paling sedikit.

Ukuran untuk permintaan distribusi

Mengukur input tipikal dan menuntut, panjang output yang diharapkan dan konversi realistis. merekam penggunaan memori puncak, waktu untuk output pertama dan kinerja generasi yang berkelanjutan. Tetap seting output-kualitas tetap ketika membandingkan sistem.

Hasilnya mungkin menunjukkan akselerator memori yang lebih besar, strategi jadwal yang berbeda atau batas aplikasi yang lebih ketat pada konteks.

Pelajaran pembelian adalah untuk menghindari memperlakukan memori sebagai kalkulasi ukuran model statik. layanan inference yang bekerja memiliki populasi permintaan yang berubah. Memahami bahwa populasi memberikan dasar yang jauh lebih kuat untuk memilih memori GPU, sumber daya host dan perangkat lunak yang digunakan untuk menyelaraskan mereka.