Konteks panjang mengubah kesimpulan menjadi masalah pengurusan memori

Model yang sama boleh menghasilkan beban yang berbeza

Soalan pendek dan analisis dokumen yang panjang boleh menggunakan model yang sama sambil meletakkan permintaan yang sangat berbeza pada sistem. lebih banyak konteks perlu diproses, dan perkhidmatan perlu mengekalkan keadaan kerja kerana ia menghasilkan jawapan.

Itulah sebabnya demonstrasi dengan satu prompt merupakan asas yang lemah untuk mengukur perkhidmatan pengeluaran. profil memori bergantung kepada campuran permintaan dan tetapan yang digunakan, bukan sahaja pada parameter yang dicetak pada kad model.

Prefill dan decode melakukan kerja yang berbeza

Inference biasanya membezakan pemprosesan input, sering dipanggil prefill, daripada generasi seterusnya token output, atau decode. Langkah-langkah ini boleh mendapat manfaat daripada pelbagai jadual dan pilihan sumber. Arsitektur Dynamo NVIDIA secara eksplisit menyokong inference yang terdesegregated, routing yang mempertimbangkan konteks cache dan pengurusan cache di seluruh lapisan memori. NVIDIA Dynamo: Arsitektur inferensi yang didistribusikan

Ini adalah bukti bahawa stok perisian sedang menyelesaikan masalah. ia bukan tuntutan bahawa memisahkan peringkat akan meningkatkan setiap pelaksanaan. koordinasi tambahan dan pergerakan data mempunyai kos, dan perkhidmatan kecil mungkin tidak memerlukan kerumitan reka bentuk yang diedarkan.

Persekitaran tersembunyi berguna, tetapi tidak percuma

Mengekalkan bahawa negeri itu menghabiskan sumber, dan memindahkannya antara lokasi atau memori tiers boleh memperkenalkan trafik dan latensi. faedah bergantung kepada sama ada permintaan sebenarnya menggunakan semula konteks yang mencukupi untuk membenarkan perjanjian.

Seorang pembantu dokumen yang berulang kali bertanya soalan mengenai bahan yang sama mungkin bertindak berbeza daripada perkhidmatan yang menerima permintaan yang tidak berkaitan. rujukan harus mewakili corak penggunaan semula yang dijangka daripada menganggap setiap permintaan adalah cache hit.

Ia juga sepatutnya termasuk apa yang berlaku apabila cache sejuk, penuh atau tidak tersedia. syarat-syarat ini penting semasa pemulihan dan permintaan puncak, apabila perkhidmatan sering mempunyai kapasiti simpanan yang paling rendah.

Saiz untuk permintaan pengedaran

Mengukur input tipikal dan menuntut, panjang output yang dijangka dan persaingan yang realistik. rekod penggunaan memori puncak, masa untuk output pertama dan prestasi generasi yang berterusan. Tetap tetapan kualiti output tetap apabila membandingkan sistem.

Hasilnya mungkin menunjukkan kelajuan memori yang lebih besar, strategi jadual yang berbeza atau had aplikasi yang lebih ketat pada konteks.Ia juga boleh mendedahkan bahawa perubahan perisian menyediakan kapasiti yang mencukupi tanpa penggantian perkakasan.

Pelajaran pembelian adalah untuk mengelakkan memori yang diperlakukan sebagai pengiraan saiz model statik. Perkhidmatan rujukan kerja mempunyai populasi permintaan yang berubah. Memahami bahawa populasi memberikan asas yang lebih kuat untuk memilih memori GPU, sumber tuan rumah dan perisian yang digunakan untuk menyelaraskan mereka.