Uzun bağlam, çıkarımı bir bellek yönetimi sorununa dönüştürüyor

Aynı model farklı yükler oluşturabilir

Kısa bir soru ve uzun bir belge analizi, sistemde çok farklı talepleri yerleştirirken aynı modeli kullanabilir. Daha fazla bağlam işlenmelidir ve hizmet bir cevap oluşturduğu için çalışma durumunu korumalıdır.

Bu nedenle, bir hızla bir gösteri, bir üretim hizmeti boyutlandırmak için zayıf bir temel oluşturur. hafıza profili, taleplerin karışımına ve kullanılan ayarlara bağlıdır, sadece model kartında basılan parametrelerin sayısına değil.

Ön doldurma ve dekore farklı işler yapar

Inference genellikle girişlerin işlenmesini, genellikle prefill olarak adlandırılır, bir sonraki nesil çıkış tokenlerinden veya dekodlardan ayırt eder. Bu aşamalar farklı programlama ve kaynak seçeneklerinden yararlanabilir. NVIDIA'nın Dynamo mimarisi açıkça kayıp bir inference, kayıp bir bağlam ve hafıza kenarları üzerindeki cache yönetimini göz önünde bulundurarak yönlendirmeyi destekler. NVIDIA Dynamo: Dağıtılmış İnferans Mimarisi

Bu, yazılım çubuğunun sorunu çözdüğünü kanıtlamaktadır. aşamaları ayırmanın her dağıtımını iyileştireceğini iddia etmez. ek koordinasyon ve veri hareketinin maliyeti vardır ve küçük bir hizmet dağıtılmış bir tasarımın karmaşıklığı gerektirmez.

Gizli bir bağlam yararlı ama ücretsiz değil

Uygun gizli durumun yeniden kullanılması, tekrarlanan çalışmaktan kaçınabilir. bu durumun kaynakları tükettiğini ve yerler veya hafıza üçüncüler arasında hareket etmesini sağlamak, trafik ve gecikme yaratabilir. Faydaları, taleplerin gerçekten düzenlemeyi haklı çıkarmak için yeterli bağlamı yeniden kullanıp kullanmadığına bağlıdır.

Aynı malzeme ile ilgili soruları tekrar tekrar soran bir belge asistanı, ilgili olmayan talepleri alan bir hizmetten farklı davranabilir. bir referans, her talep bir cache hit olduğunu varsaymak yerine beklenen yeniden kullanım modeli temsil etmelidir.

Ayrıca, cache soğuk, dolu veya kullanılamaz olduğunda neler olup bittiğini de içermelidir. bu koşullar yeniden başlatma ve talep zirvesinde önemlidir, bir hizmet genellikle en az yedek kapasiteye sahip olduğunda.

İsteğe bağlı dağıtım boyutu

Tipik ve talep edici girişleri, beklenen çıkış uzunlukları ve gerçekçi rekabet ölçmek. en üst hafıza kullanımı, ilk çıkış için zaman ve sürdürülebilir üretim performansı kaydetmek. çıkış kalitesi ayarlarını sistem karşılaştırma sırasında sabit tutun.

Sonuç, daha büyük bir hafıza hızlandırıcısı, farklı bir programlama stratejisi veya bağlamda daha sıkı bir uygulama sınırı önerebilir. aynı zamanda yazılım değişikliklerinin bir donanım değiştirme olmadan yeterli kapasite sağladığını da ortaya çıkarabilir.

Satın alma dersleri, statik bir model boyutu hesaplaması olarak hafızayı tedavi etmeyi önlemektir. bir çalışma referans hizmeti, taleplerin değişen bir nüfusuna sahiptir. nüfusun GPU hafızası, barındırma kaynakları ve bunları koordine etmek için kullanılan yazılımı seçmek için çok daha güçlü bir temel sağladığını anlamak.