長期背景將結論轉化為記憶管理問題

相同的模型可以產生不同的負載

一個短暫的問題和一個長的檔案分析可以使用相同的模型,同時在系統上提出非常不同的要求。 需要處理更多的背景,並且服務必須保持工作狀態,因為它產生答案。

這就是為什麼一個快速的示範是生產服務的規模的一個弱點,記憶資料取決於請求的混合和使用的設定,而不僅僅是模型卡上列印的引數計算。

預填和解碼做不同的工作

Inference 通常區分輸入的處理,通常稱為 prefill,從後代輸出程式碼或 decode. 這些階段可以從不同的規劃和資源選擇中受益. NVIDIA 的 Dynamo 架構明確支援分散的 inference,路由,考慮到隱藏的背景和記憶體管理的各個方面。 NVIDIA Dynamo:分散式參考架構

這是證據表明,軟體架正在解決這個問題. 它不是一個宣告,分離階段將改善每個部署. 額外的協調和資料流動有成本,而一個小服務可能不需要分散式設計的複雜性。

隱藏的背景是有用的,但不是自由的

重新使用適當的隱藏狀態可以避免重複工作,保持該狀態消耗資源,並將其移動到位置或記憶的三角形之間,可以引入流量和延遲。

文件助理多次提出關於相同材料的問題可能與接收不相關請求的服務不同。 一個參考標誌應該代表預期的重複使用模式而不是假設每個請求都是快取打擊。

它還應該包括什麼發生在快取冷,滿或不可用時。這些條件在重新啟動和需求峰會時重要,當服務往往有最少的儲備容量時。

請求分配的尺寸

測量典型和需要的輸入,預期的輸出長度和現實的競爭。 記錄頂級記憶使用,時間到第一輸出和持續的生成效能. 保持輸出質量設定固定,當比較系統。

結果可能表明一個更大的記憶加速器,一個不同的規劃策略或一個更緊的應用限制在背景下,它也可能表明,軟體變更提供足夠的容量,沒有硬體替換。

購買的教訓是避免處理記憶體作為一個靜的模型大小計算. 一個工作結論服務有一個變化人口的要求. 理解,人口提供一個更強大的基礎,選擇GPU記憶體,主機資源和使用的軟體來調整他們。