以云計算為核心技術的云數據中心正成為一種具備高技術、高算力、高能效、高安全等特征的新型數據中心，可為用戶提供全方位、多元化、便捷的軟硬件服務。隨著AI、5G和物聯網等新興技術的興起，云數據中心業務逐漸多樣化，其基礎設施建設由以算力為中心向以數據為中心轉變，同時對數據存儲提出了更高要求。分布式存儲作為云數據中心的應用虛擬化技術，可提供塊存儲、文件存儲、對象存儲等服務，但由于其系統在內部軟件處理、網絡傳輸等方面易造成性能的額外耗費，在IO訪問時延上無法達到本地盤效果，用戶使用體驗較差，故在AI分析、大規模分布式數據庫、高性能應用cache等場景下，本地盤仍然是存儲主力。然而，本地盤仍存在如靈活度低、利用率不高等問題，為填補此部分空白，提出了“SR-IOV+SSD”的方案。
作為虛擬化直通技術的SR-IOV早已在網絡、GPU異構算力等場景得到廣泛采用，隨著SSD容量、盤片性能呈指數級提升，使得SR-IOV在SSD的應用也成為可能。通過SR-IOV虛擬化技術，可將單個SSD虛擬化成多個SSD硬盤，并直通到虛擬機內部使用，通過搭配高精度的QoS能力，虛擬機可以獲得近似本地SSD硬盤性能，節約了Hypervisor虛擬化層對存儲設備虛擬計算所帶來的算力損耗。結合云平臺，SR-IOV方案可實現高性能存儲資源的動態調配等，極大滿足云化環境下AI、分布式數據庫、高性能企業應用等場景對存儲靈活性的訴求。
SR-IOV是由國際組織PCI-SIG組織定義的PCIe規范的擴展規范，旨在消除VMM對虛擬化I/O操作的干預，提高數據傳輸性能，為VM（虛擬機）提供獨立的內存空間、終端、DMA數據流，具備SR-IOV功能的I/O設備基于PCIe規范，可管理、創建多個VF（virtual function）。PCIe PF（physical function）是PCIe總線上的主要實體，一個PCIe設備具有一個或多個PF，PF設置VF數量，全局啟動或停止VF，VF可以不通過VMM的干預完成數據的訪問和轉移。
SR-IOV功能下，原本是VMM承擔的中斷交由虛擬機直接處理，提升了設備I/O性能，同時虛擬機可以直接與PCIe設備進行交互，大大減輕了物理主機CPU的負擔，使其可承擔更多的虛擬機設備。另外，通過SR-IOV功能，可以減少PCIe設備的需求量，節省PCIe插槽，使得硬件資源可以更加充分使用。
基于以上優勢，多家SSD廠商開始布局SR-IOV，目前憶聯已領先在UH8系及UH7系產品上成功實現SR-IOV功能應用。
? 服務器：自研服務器TP6520
? CPU：2* Intel(R) Xeon(R) Gold 6336Y CPU @ 2.40GHz 24cores/48threads
? 內存：16*32GB 3200MT/S DDR4
? 系統盤：1*960G 12Gbps
? SSD：1*UH8系 3.84T
? HBA卡：1*MegaRAID 9440-8i
? NIC：2* SC332
? 操作系統：CentOS Linux release 8.3.2011
? 內核：Linux 4.18.0-240.el8.x86_64
? 測試工具：2.6及以上版本
? QEMU-KVM：2.12
? NVMe開源驅動：1.11.1
? umtool工具：1.0.1.5
本次驗證，在虛擬化分區方式的場景下，通過SR-IOV技術將一片PCIe 4.0 3.84TB SSD(綁定16個CPU核)配置為2個容量為1.92TB VF(綁定8個CPU)，4個960G VF（綁定4個核），8個480G VF（綁定2個核），如下示意圖。
測試IO基本模型如下：
? 讀寫帶寬（bs=128k,job=1,iodepth=128,read/write）
? 讀IOPS（bs=4k,job=16,iodepth=128,randread）
? 寫IOPS（bs=4k,job=8,iodepth=64,randwrite）
通過對盤進行劃分為2/4/8個VF的場景下，在常規IO測試模型下進行SR-IOV方案驗證。
本次在SR-IOV功能下的不同VF場景下總性能與整盤的性能對比圖如下（以下數據為此次驗證數據，僅供參考）。
注：總帶寬/總IOPS=平均性能×VF數量
圖1：使用SR-IOV前后盤片性能對比圖
從圖1可以看到，在此次SR-IOV方案驗證下，PF性能、VF性能總和與原盤的性能相比波動較低，基本在5%以內，實現了對憶聯UH系列SSD性能充分使用，有效提高了SSD利用率。
為驗證VF性能穩定，在劃分2/4/8個VF的場景下，分別進行了測試，結果如下圖。
注：偏差值=（VF均值-VF性能）/VF均值*100%
圖2：SR-IOV功能下各VF與均值偏差圖
數據顯示，各VF測試值與VF均值基本偏差小于1%，VF間性能分配較為穩定，擴展性較高，可靈活根據用戶需求進行VF數量設置及管理。
當將SSD拆分成多個虛擬盤后，為了避免出現在使用SR-IOV進行虛擬化時出現多個虛擬機同時運行，同時對盤上下業務，出現性能上相互干擾，憶聯特針對SR-IOV特性做了針對性能隔離的設計——SR-IOV with QoS，可通過SSD芯片對各VF進行流控，做到性能均衡。
圖3：具體業務場景下VF的性能表現
為驗證QoS功能，設置bs=128,qd=128,Thread=8,Read%=70%場景，對VF的IOPS、帶寬和時延進行了對比。通過圖2可以看到，各VF在IOPS和帶寬上性能相近，時延較低，基本可以做到在日常業務使用場景下相互之間無影響，確保使用SR-IOV以后，也依然可以保障虛擬SSD盤的高性能、低時延，滿足高效存儲數據的需求。
當前憶聯SR-IOV使用NS對VF進行邏輯上的數據隔離，但因為所有VF都使用公共的Nand flash空間，各VF間不可避免會存在性能影響，雖然在QoS功能的調度下控制到了一定范圍內，但在部分更為復雜業務場景下仍不可避免。為解決這個問題，憶聯將繼續深耕SR-IOV在SSD上的應用，進一步優化性能隔離算法，實現更好的隔離效果。
虛擬機數據安全至關重要，當前代次虛擬機數據可以通過trim的方式進行清除，但對于金融、政府等對數據安全要求高的客戶仍存在不足，如當SSD離開數據中心機柜便存在數據被盜取的可能。憶聯針對虛擬機數據安全的研究方向已初具成果，后續可以做到在虛擬機釋放時，對應到SSD上的物理數據同時徹底銷毀，為維護數據安全提供保障。
憶聯當前代次的SR-IOV具備各VF性能統計能力，新一代SSD中支持虛擬機性能智能分析，根據性能狀態進行性能配置反饋，支持對虛擬機狀態進行智能診斷并遠程修復等功能。
本次驗證清晰顯示了憶聯UH8系及UH7系SSD 的SR-IOV方案可有效提高盤片利用率，減少存儲空間的浪費，實現節能減排、環境友好，助力綠色數據中心的發展。同時，憶聯SR-IOV方案中PF、各VF間性能穩定、隔離效果顯著，可隨著場景變化進行VF策略制定，應用靈活，滿足用戶在云化環境下AI、分布式數據庫、高性能企業應用等，提高資源利用率，降低TCO。對于建設綠色云數據中心，憶聯SR-IOV方案是一個可真正做到降本增效、綠色低碳可持續的存儲方案。
地址：深圳市南山區記憶科技后海中心B座19樓
電話：0755-2681 3300
郵箱：support@unionmem.com
