Lång kontext förvandlar slutledning till ett minneshanteringsproblem

Samma modell kan skapa olika belastningar

En kort fråga och en lång dokumentanalys kan använda samma modell samtidigt som de ställer väldigt olika krav på systemet. Mer sammanhang måste bearbetas och tjänsten måste behålla sitt fungerande tillstånd när den genererar ett svar. Flera samtidiga förfrågningar multiplicerar dessa krav.

Det är därför en demonstration med en uppmaning är en svag grund för att dimensionera en produktionstjänst. Minnesprofilen beror på mixen av förfrågningar och de inställningar som används, inte bara på parameterantalet som är tryckt på modellkortet.

Förfyllning och avkodning gör olika arbeten

Inferens skiljer vanligtvis bearbetningen av inmatningen, ofta kallad prefill, från den efterföljande genereringen av utdata-tokens, eller avkodning. Dessa steg kan dra nytta av olika schemaläggning och resursval. NVIDIAs Dynamo-arkitektur stöder explicit disaggregerad slutledning, routing som tar hänsyn till cachad kontext och hantering av cache över minnesnivåer. NVIDIA Dynamo: distribuerad inferensarkitektur ↗

Det är ett bevis på att mjukvarustacken tar itu med problemet. Det är inte ett påstående att separering av stegen kommer att förbättra varje utplacering. Ytterligare koordinering och dataförflyttning har kostnader, och en liten tjänst behöver kanske inte komplexiteten hos en distribuerad design.

Cachad kontext är användbar, men inte gratis

Återanvändning av lämpligt cachat tillstånd kan undvika upprepat arbete. Att hålla det tillståndet förbrukar resurser och att flytta det mellan platser eller minnesnivåer kan introducera trafik och latens. Fördelen beror på om förfrågningar faktiskt återanvänder tillräckligt med sammanhang för att motivera arrangemanget.

En dokumentassistent som upprepade gånger ställer frågor om samma material kan bete sig annorlunda än en tjänst som tar emot orelaterade förfrågningar. Ett riktmärke bör representera det förväntade återanvändningsmönstret snarare än att anta att varje begäran är en cacheträff.

Den bör också inkludera vad som händer när cachen är kall, full eller otillgänglig. Dessa förhållanden spelar roll vid omstarter och efterfrågan ökar, när en tjänst ofta har minst ledig kapacitet.

Storlek för distributionen av begäran

Mät typiska och krävande ingångar, förväntade utdatalängder och realistisk samtidighet. Registrera maximal minnesanvändning, tid till första utdata och ihållande generationsprestanda. Håll inställningarna för utskriftskvalitet fasta när du jämför system.

Resultatet kan föreslå en accelerator med större minne, en annan schemaläggningsstrategi eller en snävare tillämpningsgräns för sammanhang. Det kan också avslöja att mjukvaruförändringar ger tillräckligt med kapacitet utan byte av hårdvara.

Inköpsläxan är att undvika att behandla minne som en statisk modellstorleksberäkning. En fungerande slutledningstjänst har en föränderlig population av förfrågningar. Att förstå att populationen ger en mycket starkare grund för att välja GPU-minne, värdresurser och programvaran som används för att koordinera dem.