- YRCloudFile 軟件
- 高性能分布式文件存儲 YRCloudFile
- 焱融 DataInsight
存儲挑戰
GPU 顯存瓶頸突出
在大模型推理中，KVCache 規模快速擴大，致使 GPU 顯存占用率急劇攀升。然而，顯存容量有限，一旦不足，推理將出現卡頓甚至中斷。通常情況下，GPU 顯存無法單獨擴展，只能通過增加整卡來獲取更多顯存資源，這將導致成本顯著上升并造成資源浪費。
高并發處理能力不足
在推理請求高峰時段，數據處理需求急劇增加。傳統架構難以高效應對海量并發請求，導致推理任務積壓，響應延遲上升、吞吐能力下降，影響整體效率，限制服務的可擴展性與用戶體驗。
存儲性能瓶頸
模型推理過程需頻繁訪問大體量參數文件與中間計算結果，尤其在生產環境中，海量實時數據需迅速注入模型完成計算。若底層存儲系統吞吐不足、I/O 延遲較高，將直接影響模型加載與數據讀寫效率，成為限制推理速度的核心瓶頸。
解決方案
焱融高性能分布式文件存儲 YRCloudFile 率先支持 KVCache 特性。通過“GPU 顯存 + YRCloudFile 高性能分布式文件存儲”的組合方式，YRCloudFile KVCache 將 KV 緩存從 GPU 顯存擴展至高性能共享存儲，用戶無需修改應用架構，即可實現 GPU 對 KVCache 空間的共享訪問。該方案不僅突破了 GPU 顯存瓶頸，顯著擴展了可承載的 KV 鍵值對規模，還大幅提高了 KV 命中率，同時有效降低首 token 耗時（TTFT），滿足更高并發、更長上下文的推理需求，全面提升大模型推理的效率與響應能力。
焱融存儲技術團隊基于公開數據集和業界公認的測試工具，在 NVIDIA GPU 硬件平臺模擬真實推理業務，對 YRCloudFile KVCache 進行了性能驗證。理想情況下，TTFT 應穩定在 2 秒以內，這表明用戶體驗良好。一旦 TTFT 超過 2 秒，用戶體驗將顯著下降。實測結果表明，YRCloudFile KVCache 在響應延遲與并發處理能力這兩個衡量用戶體驗的關鍵指標上均實現了明顯優化。在 TTFT 穩定控制在 2 秒以內的前提下，支持的并發數相比原生 vLLM 方案提高了 3.2 倍。
方案優勢
領先的技術架構
焱融 YRCloudFile KVCache 方案構建了與 DeepSeek 一致的推理存算架構，率先實現 DeepSeek 級推理能力，為用戶提供對標行業一線的高性能推理體驗。
加速 AI 推理
提升用戶體驗通過高速讀寫和低延遲訪問能力，有效緩解顯存瓶頸，加快 KVCache 的加載與處理速度，大幅提升推理過程中的響應效率，顯著縮短模型輸出時間，優化整體用戶使用體驗。
支持更高并發
穩定支撐大規模服務可承載大規模 KV 讀寫并發訪問，保障推理任務在高并發場景下依然保持低延遲與高吞吐，有效支撐復雜業務調度需求，提升系統穩定性。
提升 GPU 利用率
優化推理成本通過將 KV 緩存外置至高性能存儲系統，既避免了堆疊 GPU 擴展顯存的高昂成本，又釋放了 GPU 顯存資源，使計算資源得到充分利用，同等數量的 GPU 能支持更多并發和更長上下文的推理請求，實現更具性價比的 AI 推理。