長いコンテキストは、結論を記憶管理の問題に変える。

同じモデルが異なる負荷を生み出すことができます。

短い質問と長いドキュメント分析は、システムに非常に異なる要件を置きながら、同じモデルを使用することができる。 より多くのコンテキストが処理されなければならず、サービスは回答を生み出すため、作業状態を維持しなければならない。

メモリプロファイルは、要求と使用された設定の組み合わせに依存し、モデルカードに印刷されたパラメーター数だけではありません。

プレフィールとデコードは異なる作業を行います

Inference は、通常、出力トークン、またはデコードの次の世代から入力の処理を区別します. これらの段階は、さまざまなスケジュールとリソースの選択から利益を得ることができます. NVIDIA の Dynamo アーキテクチャは、明確に分解された inference をサポートし、ルーティングは、カッシュされたコンテキストとメモリの各側のキャッシュ管理を考慮します。 NVIDIA ダイナモ:分布インフェレンスアーキテクチャ

それは、ソフトウェアのストックが問題を解決しているという証拠です. それは段階を分離すると、それぞれの実施を改善するという主張ではありません. 追加の調整とデータの移動にはコストがあり、小さなサービスは、分散されたデザインの複雑さを必要としないかもしれません。

隠された文脈は有用ですが、自由ではありません。

適切なキャッシュ状態を再利用することは、繰り返し働くことを避けることができます. この状態が資源を消費し、場所やメモリの間を移動することは、トラフィックと遅延を導入することができます. 利点は、要求が実際に適切なコンテキストを再利用するかどうかによって決まります。

同じ材料について繰り返し質問するドキュメントアシスタントは、関連していないリクエストを受け取るサービスとは異なり行動する可能性があります. 参照は、各リクエストがキャッシュヒットであると仮定する代わりに、予想される再利用パターンを表すべきです。

また、キャッシュが冷たい、満たされた、あるいは利用できなくなったときに何が起こるかを含むべきです。これらの条件は、再起動と需要のピークの間に重要であり、サービスがしばしば最小の予備容量を持っている場合があります。

要求配布のサイズ

典型的かつ要求的な入力、予想される出力長さと現実的な競争を測定します 記録ピークメモリの使用、最初の出力への時間と持続可能な生産パフォーマンス システムを比較する際に出力品質設定を固定します。

結果は、より大きなメモリ加速器、異なるスケジュール戦略、またはコンテキスト上のアプリケーションの制限を示す可能性があります。

購入のレッスンは、静的なモデルサイズの計算としてメモリを扱うのを避けることです. 働く概要サービスは、要求の変化する人口を持っています. 人口がGPUメモリ、ホストリソース、およびそれらを調整するために使用されるソフトウェアを選択するためのより強力な基礎を与えることを理解します。