Dlouhý kontext mění z dedukce problém se správou paměti

Stejný model může vytvářet různá zatížení

Krátká otázka a analýza dlouhého dokumentu mohou používat stejný model a přitom klást na systém velmi odlišné požadavky. Musí být zpracováno více kontextu a služba si musí zachovat funkční stav, když generuje odpověď. Více souběžných požadavků tyto požadavky násobí.

To je důvod, proč je demonstrace s jednou výzvou slabým základem pro dimenzování produkční služby. Profil paměti závisí na kombinaci požadavků a použitých nastavení, nejen na počtu parametrů vytištěném na kartě modelu.

Předvyplnění a dekódování dělají jinou práci

Inference běžně rozlišuje zpracování vstupu, často nazývané prefill, od následného generování výstupních tokenů nebo dekódování. Tyto fáze mohou těžit z různých možností plánování a zdrojů. Architektura Dynamo NVIDIA explicitně podporuje dezagregované odvození, směrování, které bere v úvahu kontext mezipaměti a správu mezipaměti napříč úrovněmi paměti. NVIDIA Dynamo: architektura distribuovaného odvození ↗

To je důkaz, že softwarový zásobník řeší problém. Netvrdí se, že oddělení fází zlepší každé nasazení. Další koordinace a přesun dat jsou náklady a malá služba nemusí vyžadovat složitost distribuovaného návrhu.

Kontext mezipaměti je užitečný, ale není zdarma

Opětovné použití vhodného stavu mezipaměti se může vyhnout opakované práci. Udržení tohoto stavu spotřebovává zdroje a jeho přesun mezi umístěními nebo úrovněmi paměti může zavést provoz a latenci. Přínos závisí na tom, zda požadavky skutečně znovu používají dostatek kontextu k ospravedlnění uspořádání.

Asistent dokumentu, který opakovaně klade otázky o stejném materiálu, se může chovat odlišně od služby přijímající nesouvisející požadavky. Srovnávací test by měl představovat očekávaný vzor opětovného použití, spíše než předpokládat, že každý požadavek je přístup do mezipaměti.

Mělo by také obsahovat, co se stane, když je mezipaměť studená, plná nebo nedostupná. Tyto podmínky jsou důležité při restartech a špičkách poptávky, kdy má služba často nejmenší volnou kapacitu.

Velikost pro distribuci požadavků

Měří typické a náročné vstupy, očekávané výstupní délky a realistickou souběh. Zaznamenávejte špičkové využití paměti, čas do prvního výstupu a trvalý výkon generace. Při porovnávání systémů udržujte nastavení kvality výstupu pevné.

Výsledek může naznačovat akcelerátor s větší pamětí, jinou strategii plánování nebo přísnější aplikační limit na kontext. Může také odhalit, že změny softwaru poskytují dostatečnou kapacitu bez výměny hardwaru.

Lekce nákupu se má vyhnout tomu, aby se s pamětí zacházelo jako se statickým výpočtem velikosti modelu. Služba fungujícího odvození má měnící se populaci požadavků. Pochopení této populace poskytuje mnohem pevnější základ pro výběr paměti GPU, hostitelských zdrojů a softwaru používaného k jejich koordinaci.