vLLM 與 TensorRT-LLM 在 2026 年持續優化記憶體快取與動態批次處理效能
粗算一下:一個 70B 等級模型若採用 GQA(分組查詢注意力),以 FP16 儲存 KV Cache,每個 token 大約需要 0.3~0.6 MB;若上下文長度是 32K,單一請求就要吃掉 10~20 GB。這意味著一張 80GB 的 GPU,在扣除權重之後,可能只能同時服務個位數的長上下文請求。若模型支援上百萬 token 的超長上下文,或是採用 MLA(多頭潛在注意力)這類壓縮架構,計算方式會有所不同,但「KV Cache 是記憶體主要消耗者」這個結論並不會改變。
於是問題就變成:如何用更少的實體記憶體,服務更多、更長的請求?這正是 PagedAttention 與其後續演進要回答的問題。2026 年的答案已經不是單一技巧,而是一整套「分層 + 量化 + 重用 + 卸載」的組合拳。
二、vLLM 的 2026 路線:以記憶體治理為核心的引擎重構
vLLM 自 2023 年以 PagedAttention 一戰成名後,其技術路線一直圍繞「記憶體效率」打轉。到了 2026 年,隨著 V1 引擎架構的全面落地,vLLM 已經從「一個很會做 KV Cache 分頁的推論引擎」,演進為「一個以排程器與 KV 連接器為核心的推論作業系統」。
2.1 PagedAttention 的進化:從固定分頁到分層記憶體治理
PagedAttention 的核心靈感來自作業系統的虛擬記憶體分頁:把 KV Cache 切成固定大小的 block(例如每塊存放 16 個 token 的 KV),用區塊表(block table)記錄邏輯位置與實體位置的對應。這樣做的好處是消除記憶體碎片——傳統做法必須為每個請求預留最大可能長度的連續空間,浪費極大;分頁做法則按需配置,記憶體利用率可從三、四成提升到九成以上。
2026 年的 vLLM 在這之上做了幾層擴充。第一層是更細緻的區塊大小策略:不同的工作負載(短對話 vs 長文件摘要)適合不同的 block size,vLLM 允許在啟動時依場景調整,並在排程階段考量區塊碎片化程度。第二層是分層記憶體(tiered memory):把 KV Cache 依「熱度」分為 GPU HBM、CPU DRAM、甚至 NVMe 三個層級,並透過非同步的搬運引擎(多數實作會結合 NIXL 之類的傳輸抽象層)在層級間流動。當 GPU 記憶體吃緊時,長時間未被存取的區塊會被降級到 CPU;當該請求再度被排程時,再非同步地搬回 GPU。
第三層則是與硬體特性綁定的配置策略:在 HBM 容量大但頻寬相對受限的硬體上,傾向保留更多區塊在 GPU;在 NVLink 互連的交換器架構上,則可以跨 GPU 共享 KV 區塊池。這些調整過去需要手動改程式碼,現在多半可以透過設定檔與自動調優器完成。
實務上要注意的是,分層記憶體並非免費午餐。CPU DRAM 的頻寬比 HBM 低一個數量級以上,一旦 KV 區塊被降級,該請求的 TPOT(每輸出 token 時間)會明顯惡化。因此 vLLM 的排程器必須把「該請求的 KV 是否在 GPU 上」納入優先度計算,否則會出現 SLO 抖動。這也是 2026 年各家框架紛紛把「KV 位置感知排程」寫進核心的原因。
2.2 自動前綴快取:讓重複的提示詞只算一次
自動前綴快取(Automatic Prefix Caching,APC)是近年最有感、也最容易被低估的最佳化。它的邏輯是:以區塊為單位對 KV 內容做雜湊,若新請求的前綴與快取中的某段完全一致,就直接重用該段 KV,跳過對應的 prefill 計算。
在真實場景中,這件事的價值極高。客服系統的 system prompt 往往長達數千 token,且所有人共用;RAG 應用中,檢索到的文件片段在不同查詢間高度重複;多輪對話中,前面的歷史幾乎每次都會被重新送一次。沒有前綴快取時,這些重複內容每次都要重新跑一遍 prefill,浪費的不只是算力,還有記憶體頻寬。
2026 年的 APC 在幾個方向上持續演進。其一是雜湊與淘汰策略的精細化:如何在「快取命中率」與「記憶體佔用」之間取得平衡,需要一套類似 LRU 但更聰明的淘汰機制,因為不同前綴的「未來重用機率」差異極大。其二是跨請求、跨實例的快取共享:透過 KV Connector 把常用的前綴區塊集中存放在共享儲存層,讓多個推論實例都能命中,這在多租戶 SaaS 場景中特別有效。其三是與排程器的深度整合:排程器在決定批次組成時,會優先挑選「快取命中率高」的請求一起執行,進一步壓低平均 TTFT。
值得注意的是,前綴快取並非萬靈丹。若前綴內容帶有時間戳、使用者 ID 等變動欄位,命中率會瞬間歸零。因此在設計 prompt 模板時,把「固定不變的部分」放在最前面、「變動的部分」放在後面,是提升命中率的關鍵工程實務。這一點與框架無關,卻是許多團隊最容易忽略的調校點。
2.3 連續批次與 Chunked Prefill 的協同設計
前文提到,連續批次讓 GPU 幾乎不空轉。但它有個副作用:prefill 階段(處理輸入提示詞)的計算量遠大於 decode 階段。當一個超長提示詞的請求進入批次時,它會佔用大量計算資源,導致同批次中其他正在 decode 的請求被「卡住」,TPOT 突然飆高,使用者會明顯感受到輸出變慢。
Chunked Prefill 正是為此而生:把長提示詞的 prefill 切成多個小塊,分散到多個迭代中執行,讓 decode 請求的延遲不至於被單一長請求綁架。這個技巧在 2024 年由多個團隊提出,到 2026 年已經成為 vLLM 排程器的標準配備。
真正困難的地方在於「切多大」。切得太小,prefill 的固定開銷(kernel launch、資料搬移)會拖累整體效率;切得太大,又失去平滑延遲的意義。vLLM 的策略是讓排程器根據當前的批次狀態動態決定 chunk 大小——當批次中 decode 請求多、且 SLO 嚴格時,就切得更細;當系統處於吞吐量優先模式時,則允許更大的 chunk。這種「可調式的資源分配」是 2026 年推論框架與 2023 年版本最大的差別之一。
此外,vLLM 在排程器中引入了「token 預算(token budget)」的概念:每個迭代最多處理多少個 token,不論是 prefill 或 decode 都納入計算。這讓延遲與吞吐量之間的取捨變成一個可調參數,而不是靠感覺亂猜。
2.4 KV Connector 與 PD 分離:把快取搬出 GPU
如果單一 GPU 或單一節點的記憶體終究不夠用,那下一步自然是「把它拆開」。PD 分離(Prefill-Decode Disaggregation)的核心思想,是把 prefill 與 decode 這兩種特性截然不同的工作,分配到不同的硬體池上:prefill 是計算密集,適合高算力節點;decode 是記憶體頻寬密集,適合大記憶體、高頻寬節點。兩者之間透過高速傳輸(NVLink、RDMA、InfiniBand)交換 KV Cache。
這種架構的優點是資源可以獨立擴縮——長提示詞暴增時只擴 prefill 池,長輸出需求增加時只擴 decode 池。缺點則是 KV Cache 的傳輸成本,尤其是當上下文極長時,搬運的資料量相當可觀。因此 2026 年的實作多半會搭配前綴快取與 KV 壓縮,盡量減少真正需要搬運的區塊。
在 vLLM 這一側,KV Connector 抽象層扮演關鍵角色:它把「KV 區塊從哪裡來、往哪裡去」抽象化,讓上游可以是本機 CPU 記憶體、遠端節點的 KV 池、甚至是物件儲存。這種設計讓 vLLM 能夠靈活支援多種部署形態,而不必把架構寫死。對維運團隊而言,好處是可以在同一套 API 下,從單機部署平滑演進到多節點 disaggregated 架構。
三、TensorRT-LLM 的 2026 路線:編譯期與執行期雙軌極致化
如果說 vLLM 是「以演算法與排程取勝」,那 TensorRT-LLM 就是「以編譯器與硬體貼合度取勝」。它把模型在編譯期就轉換成針對特定 GPU 架構最佳化的執行計畫,並在執行期搭配精心設計的排程與記憶體管理,追求極致的單位成本效能。
3.1 In-flight Batching 的成熟與排程器可觀測性
TensorRT-LLM 的 in-flight batching 與 vLLM 的連續批次在概念上高度相似,但實作路徑不同。它更強調與 CUDA Graph 的配合:把批次中「形狀固定」的部分捕捉成 graph,降低 kernel launch 的 CPU 開銷。這在批次量大、請求長度接近的情境下效果極佳。
2026 年的 TensorRT-LLM 在排程器上做了兩項重要補強。第一是更細緻的請求優先級與 SLO 控制:支援為不同請求設定延遲目標,排程器會據此動態調整批次組成,甚至在必要時犧牲部分吞吐量來保住關鍵請求的 TTFT。第二是可觀測性:透過內建的指標輸出,維運人員可以看到每個迭代的批次大小、KV 使用率、快取命中率與排隊時間,這對除錯與容量規劃非常有價值。
過去 TensorRT-LLM 常被批評「效能很好但黑箱」,這幾年的改進讓它在可觀測性上縮小了與 vLLM 的差距。對於需要精細 SLO 管理的生產環境而言,這是相當關鍵的一步。
3.2 分頁式 KV Cache、KV 量化與 MLA 支援
TensorRT-LLM 同樣採用了分頁式 KV Cache(paged KV cache)來降低碎片。它的特色在於與量化技術的深度整合:KV Cache 可以存成 FP8,甚至更低精度的格式,容量直接減半甚至更多。這對於要在單張 GPU 上塞進更多並行請求的場景來說,是最直接有效的手段。
當然,KV 量化並非沒有代價。低精度 KV 會讓注意力分數的計算產生誤差,在長上下文或需要高精確檢索的任務(如程式碼生成、數學推理)中,可能導致品質下降。2026 年的做法通常是「分層混合」:對敏感層保留較高精度,對其他層使用低精度;或是在 decode 階段動態調整。框架多半提供開關與精度策略設定,讓使用者可以按任務類型調整。
另一個重點是對新式注意力架構的支援。以 MLA(多頭潛在注意力)為代表的壓縮式注意力,能在保持表現的前提下大幅壓縮 KV Cache 體積,已成為許多開源模型(如 DeepSeek 系列)的標準設計。TensorRT-LLM 針對 MLA 設計了專屬的 kernel 與記憶體佈局,讓這類模型在推論時能真正發揮架構優勢,而不是被通用實作拖慢。
3.3 CUDA Graph、低延遲模式與投機解碼
CUDA Graph 是 TensorRT-LLM 的傳統強項:把重複執行的算子序列捕捉成一張 graph,執行時一次提交,大幅降低 CPU 端的排程開銷。對於小批次、低延遲的場景(例如單一使用者互動),CPU 開銷往往是延遲的隱形殺手,CUDA Graph 正好對症下藥。
此外,TensorRT-LLM 提供多種執行模式,讓使用者在「吞吐量優先」與「延遲優先」之間切換。低延遲模式下,框架會限制批次大小、優先處理少量請求,並啟用針對短序列最佳化的 kernel;高吞吐模式則盡可能塞滿批次,追求單位時間內的總 token 數。這種「模式化」的設計,讓同一套框架能服務截然不同的產品線。
投機解碼(speculative decoding)則是另一個關鍵戰場。它的原理是用一個小模型(draft model)先草擬多個 token,再由大模型一次驗證,若驗證通過就一次接受多個 token,等效於提升解碼速度。2026 年的進展在於「草稿策略的多樣化」:除了傳統的獨立小模型,還有 EAGLE 系列的自回歸草稿頭、Medusa 式的多頭預測、以及結合檢索的 n-gram 草稿。TensorRT-LLM 對這類技術的支援相當積極,並會依模型與硬體自動選擇合適的草稿策略。
投機解碼與 KV Cache 的關係也很微妙:草稿階段的候選 token 需要提前計算並暫存 KV,若驗證失敗就要丟棄。這意味著草稿長度越長、接受率越低,KV 記憶體的浪費就越嚴重。因此好的實作會動態調整草稿長度,依據歷史接受率自動收斂。
3.4 大規模多 GPU 與專家平行的記憶體協同
在 MoE 模型成為主流的 2026 年,推論框架必須處理「專家權重分散在多張 GPU 上」的通訊問題。TensorRT-LLM 針對專家平行(Expert Parallelism)設計了專門的通訊排程:把同一批次中需要同一專家的 token 聚集起來,減少跨 GPU 的通訊次數。這種「先聚合再通訊」的策略,與動態批次的排程邏輯其實是同一個思路的延伸——把零散的資源需求集中起來,換取整體效率。
與此同時,KV Cache 在多 GPU 場景下的擺放也變得複雜。若採用張量平行(TP),KV Cache 會被切分到各張 GPU;若採用資料平行(DP)搭配負載平衡,則需要一套機制確保相同前綴的請求被導向持有對應快取的節點。2026 年的實務做法,多半是結合「前綴感知路由」與「KV 共享池」,讓快取命中率在多節點環境下仍能維持。
四、正面對決:兩種哲學下的效能取捨與實測方法
談到這裡,讀者最想知道的想必是:「那我到底該用哪一個?」這個問題沒有標準答案,因為兩者的設計哲學本就不同,適合的場景也不同。
4.1 吞吐量優先 vs 延遲優先
vLLM 的優勢在於彈性與生態。它對新模型的支援速度快、社群活躍、部署門檻低,且在吞吐量導向的場景(如離線批次推論、大規模 API 服務)表現優異。它的排程器設計強調「公平與效率的平衡」,能有效處理長短請求混合的負載。
TensorRT-LLM 的優勢則在於「極致的單位成本效能」。當模型與硬體組合固定、且工作負載可預測時,它能透過編譯期最佳化榨出更多效能,特別是在延遲敏感、批次較小的互動式場景中。代價是部署複雜度較高、對新模型的支援通常落後一段時間,且需要較多硬體相關的調校知識。
換句話說,vLLM 像是「通用型的高效能引擎」,適合快速迭代與多樣化場景;TensorRT-LLM 則像「賽道專用引擎」,在特定條件下能跑出更好的成績,但需要更多準備工作。2026 年的趨勢是兩者互相借鏡:vLLM 持續強化編譯與 kernel 層的最佳化,TensorRT-LLM 則持續改善易用性與模型覆蓋率。
4.2 該看哪些指標:TTFT、TPOT、ITL 與 goodput
評估推論框架時,最常見的錯誤是只看「tokens per second」這個單一數字。實際上,使用者體驗由多個指標共同決定:
壓測時務必用「貼近真實的請求長度分佈」而不是單一長度。真實世界的提示詞長度呈長尾分佈,若只用固定長度壓測,很容易高估系統能力。建議至少準備三組負載:短提示短輸出(聊天)、長提示短輸出(問答/RAG)、長提示長輸出(文件生成),分別觀察各指標的表現。
另外,別忘了測試「冷啟動」與「快取命中率為零」的情境。前綴快取的效益在壓測中很容易被高估,因為同一組測試資料反覆執行會不斷命中快取。真實上線時,每個使用者的提示詞都不同,命中率可能遠低於實驗室數據。
4.3 場景化選型:什麼情況下選 vLLM,什麼時候選 TensorRT-LLM
以下是幾個實務判斷準則,供讀者參考:
值得一提的是,2026 年已有團隊採用「混合架構」:用 vLLM 處理長尾、變動性高的流量,用 TensorRT-LLM 處理主力、可預測的流量,再透過統一的閘道層做路由。這種做法雖然增加維運複雜度,但在成本與體驗上往往能取得更好的平衡。
五、2026 年的實務部署建議
無論選擇哪一套框架,有些調校原則是共通的。以下整理一份可直接落地的清單。
5.1 參數調校清單
第一,先量測再調參。不要盲目複製網路上的設定值,因為它們對應的硬體與負載往往與你不同。先建立基準線(baseline),再逐項調整並觀察 goodput 變化。
第二,記憶體利用率不要拉到 100%。許多框架允許設定 GPU 記憶體使用比例(gpu_memory_utilization),把它設到 0.95 以上看似能塞更多 KV Cache,但實際上會壓縮 CUDA Graph、臨時緩衝區與其他元件的空間,反而造成效能下降或 OOM。一般建議從 0.85~0.9 開始測試。
第三,批次大小上限(max_num_seqs)要與 SLO 一起調。批次越大吞吐越高,但單一請求的等待時間也越長。建議用壓測找出「goodput 最高」而非「吞吐最高」的甜蜜點。
第四,區塊大小(block size)依場景調整。短對話場景適合較小的區塊以降低碎片;長上下文場景則適合較大區塊以減少管理開銷。多數框架預設值已經不錯,但仍值得實測。
第五,開啟前綴快取並設計好 prompt 模板。這是投入產出比最高的最佳化之一,尤其是 system prompt 很長或多輪對話的應用。記得把固定內容放前面、變動內容放後面。
第六,善用 KV 量化,但要驗證品質。FP8 KV Cache 通常能帶來明顯的容量收益,但務必在你的任務上做 A/B 測試,確認輸出品質沒有明顯退化。對精確度要求高的任務,考慮混合精度策略。
第七,建立完整的可觀測性。至少追蹤 TTFT、TPOT、ITL 的 P50/P95/P99、KV Cache 使用率、前綴快取命中率、批次平均大小與排隊時間。沒有這些數據,任何調校都只是憑感覺。
第八,壓力測試要包含「突發流量」與「長尾請求」。真實世界的流量從不平滑,系統在尖峰時的排隊行為,往往才是使用者抱怨的來源。
5.2 未來 12 個月值得追蹤的方向
展望接下來一年,有幾個技術方向值得雅寶社區的讀者持續關注。其一是KV Cache 的硬體化與近記憶體運算:把 KV 的存取與注意力計算搬近記憶體,減少搬運成本,這在長上下文場景中潛力極大。其二是更智慧的跨請求快取共享:不只是前綴的完全匹配,而是語義層級的部分重用,這牽涉到雜湊策略與檢索技術的結合。
其三是排程器與 SLO 的深度綁定:從「盡量塞滿批次」走向「保證每個請求的延遲目標」,這需要更精細的預測模型(預測請求長度、預測快取命中率)與更靈活的搶佔機制。其四是PD 分離的標準化:目前各家實作仍有些許差異,未來若能形成共通協定,多框架混用與跨廠商部署會容易許多。
最後,別忽略模型架構本身對推論效率的影響。MLA、稀疏注意力、線性注意力等設計,正在從根本上改變 KV Cache 的成長曲線。推論框架的優化再強,也無法超出模型架構所給的上限;因此在選型模型時,把「推論友善度」納入評估,往往比事後調校更有效。
六、結語
回顧 2026 年的推論技術發展,vLLM 與 TensorRT-LLM 的競爭,本質上是一場「如何更聰明地使用記憶體」的競賽。vLLM 以 PagedAttention 為起點,逐步建構出分層快取、前綴重用、PD 分離與 KV Connector 的完整體系;TensorRT-LLM 則以編譯期最佳化為核心,把分頁式 KV、量化、CUDA Graph 與投機解碼整合成極致的執行路徑。兩者路線不同,卻在「動態批次 + 記憶體治理」這個交集上持續逼近最佳解。
對實務團隊而言,與其爭論哪個框架「比較強」,不如先把自己的負載特性、SLO 目標與硬體條件量清楚。框架只是工具,真正決定成敗的是:你是否理解 KV Cache 如何吃掉你的記憶體、你的排程器是否真的服務了你的使用者、你的監控是否能在問題發生前給出警訊。把這三件事做好,無論選哪一套框架,都能跑出令人滿意的成績。
希望這篇整理能為正在評估或調校推論服務的讀者提供一些方向。如果你有不同的實測經驗,或是在特定硬體上遇到有趣的瓶頸,歡迎在雅寶社區 · 頂客論壇的 AI 趨勢版分享討論,讓更多人有機會少走一些冤枉路。
```
💬 想說點什麼?
歡迎到留言板分享你的想法、心得或疑問。
💬 前往留言板 →