近年來，隨著云計算、5G、人工智能、物聯(lián)網(wǎng)、AI等新技術(shù)的快速發(fā)展和應(yīng)用，數(shù)據(jù)量規(guī)模成指數(shù)級增長，傳統(tǒng)集中式存儲方案因可靠性、安全性無法保障，數(shù)據(jù)利用率低等弊端，無法滿足大規(guī)模的存儲應(yīng)用需求，在此背景下分布式存儲應(yīng)運而生。分布式存儲憑借其易擴展、高性能、成本優(yōu)勢明顯、支持分級存儲、多副本一致性及存儲系統(tǒng)標(biāo)準(zhǔn)化等優(yōu)勢成為云環(huán)境下存儲底座構(gòu)建的重要選擇。
分布式存儲分為塊存儲、文件存儲和對象存儲，其中塊存儲主要是對計算集群虛擬機、容器提供彈性卷服務(wù)，而彈性卷EVS作為當(dāng)前云業(yè)務(wù)平臺最核心的存儲服務(wù)，對存儲性能要求極高，在此基礎(chǔ)上各大云廠商基本采用全閃化形態(tài)部署。固態(tài)硬盤（SSD）以閃存為存儲介質(zhì)，相比機械硬盤（HDD）具有讀寫速度快、延遲低、抗震性好等優(yōu)勢，在分布式存儲中廣泛使用。
Ceph是當(dāng)前業(yè)界應(yīng)用最廣泛的開源分布式存儲軟件，具備高擴展性、高性能、高可靠等特點，同時支持塊存儲、文件存儲及對象存儲接口，已成熟應(yīng)用于云計算的IAAS平臺。為更好助力分布式塊存儲系統(tǒng)性能及可靠性的提升，憶聯(lián)在Ceph平臺下開展實測。
Ceph是一個統(tǒng)一的分布式存儲系統(tǒng)，可提供較好性能、可靠性和可擴展性，是面向云計算領(lǐng)域重要的底層存儲系統(tǒng)，已在國內(nèi)運營商、政府、金融、互聯(lián)網(wǎng)等多個行業(yè)落地應(yīng)用。
圖1：Ceph技術(shù)架構(gòu)圖
Ceph主要分為應(yīng)用接口層、存儲基礎(chǔ)接口層、存儲對象層，接口層主要負責(zé)客戶端訪問，分為本地語言綁定接口、塊存儲設(shè)備接口和文件系統(tǒng)接口，展現(xiàn)了Ceph統(tǒng)一性的特征。
在Ceph塊存儲系統(tǒng)中，數(shù)據(jù)以塊的形式存在卷里，塊為應(yīng)用程序提供大存儲容量，可靠性和性能都更高，卷可映射到操作系統(tǒng)中，由文件系統(tǒng)層控制。Ceph塊存儲系統(tǒng)引入的RBD（Ceph塊設(shè)備）協(xié)議為客戶端提供了高可靠、高性能、分布式的塊存儲，同時RBD也支持其他的企業(yè)級特性，例如完整和增量式快照，精簡的配置，寫時復(fù)制( copy-on-write)式克隆，以及全內(nèi)存式緩存等，從而大大提高了它的性能。
圖2：Ceph塊存儲組件
1. 驗證環(huán)境
1.1 本次驗證硬件配置
類型
型號
硬件配置
服務(wù)器
2U2路服務(wù)器
CPU：Intel Xeon Gold 6336Y @2.4GHz
內(nèi)存：12*16GB
存儲控制器：支持RAID 1（系統(tǒng)盤）
網(wǎng)卡：2*2端口25GE以太網(wǎng)卡
硬盤
憶聯(lián)SSD
系統(tǒng)盤：2*480GB SATA
數(shù)據(jù)盤：8*7.68 NVMe SSD（UH811a）
交換機
25GE 交換機
48端口25GE交換機
1.2本次驗證軟件配置
|
類型 |
型號 |
版本 |
|
操作系統(tǒng) |
CentOS（x86） |
7.6 |
|
存儲軟件 |
Ceph（開源） |
12.2.8 luminous |
|
FIO |
IO測試 |
3.7 |
|
SAR |
網(wǎng)絡(luò)監(jiān)控 |
10.1.5 |
|
IOSTAT |
盤側(cè)IO統(tǒng)計 |
10.0.0 |
|
MPSTAT |
CPU利用 |
10.1.5 |
1.3本次驗組網(wǎng)規(guī)劃
圖3：Ceph組網(wǎng)規(guī)劃架構(gòu)圖
步驟1：創(chuàng)建RBD pool和RBD卷。配置參數(shù)osd_pool_default_size確定RBD Pool池的副本數(shù)，2表示兩幅本，3表示三副本，根據(jù)實際副本數(shù)需求，將該配置項添加到ceph.conf中即可。另外根據(jù)規(guī)劃，需要創(chuàng)建60個大小為100GiB的RBD卷進行IO測試。
步驟2：下發(fā)IO測試前，需對服務(wù)器和客戶端的IO、CPU、網(wǎng)絡(luò)進行監(jiān)控，每2秒采集一次數(shù)據(jù)。
步驟3：在6個客戶端上同時對60個RBD卷下發(fā)IO，每個客戶端均需綁核，即每個fio綁定不同cpu核。
步驟4：完成IO測試后，需關(guān)閉服務(wù)端和客戶端的IO、CPU、網(wǎng)絡(luò)進行監(jiān)控。
步驟5：測試完成后，需匯總所有客戶端fio的BW、IOPS、平均時延，匯總對應(yīng)的監(jiān)控數(shù)據(jù)。對于BW和IOPS，累加各FIO對應(yīng)結(jié)果即可；對于平均時延，累加之后需求平均值。
本次在 Ceph場景下驗證結(jié)果（以下結(jié)果為本次測試結(jié)果，僅供參考）如下：
3.1憶聯(lián)UH8系SSD在隨機讀及順序讀下的表現(xiàn)
圖4：Ceph場景下憶聯(lián)UH8系SSD讀性能
從圖4可以看出，在Ceph分布式存儲系統(tǒng)下，不論是二副本還是三副本，憶聯(lián)UH8系SSD的讀性能基本持平。在時延方面，二副本與三副本趨勢基本一致，1QD至32QD間較為穩(wěn)定，在32QD后時延明顯增加。
3.2憶聯(lián)UH8系SSD在隨機寫及順序?qū)懴碌谋憩F(xiàn)
圖5：Ceph場景下憶聯(lián)UH8系SSD寫性能
如圖5所示，不論是在隨機寫還是在順序?qū)憳I(yè)務(wù)下，二副本寫性能遠高于三副本性能，主要是由于副本復(fù)制帶來的網(wǎng)絡(luò)及存儲開銷，造成三副本寫帶寬及寫IOPS下降明顯。在總體時延表現(xiàn)上，二副本明顯優(yōu)于三副本。在時延變化趨勢上，二副本與三副本基本一致，皆在32QD后有比較顯著的上升。
3.3憶聯(lián)UH8系SSD在混合讀寫場景下的表現(xiàn)
圖6：Ceph場景下憶聯(lián)UH8系SSD混合讀寫性能
從圖6可以看出，在4K 7:3混合讀寫業(yè)務(wù)場景下，從16QD起，二副本IOPS性能優(yōu)于三副本。在時延整體表現(xiàn)上，二副本低于三副本，但在時延變化趨勢上，二副本與三副本基本一致，時延從32QD起，明顯上升。
結(jié)論：
從Ceph讀、寫、混合讀寫業(yè)務(wù)場景的實測數(shù)據(jù)中，可以看到憶聯(lián)SSD整體表現(xiàn)優(yōu)秀，可為Ceph環(huán)境提供極致存儲性能。在時延上，憶聯(lián)SSD在32QD及以下場景中，表現(xiàn)亮眼，可獲得更佳的時延體驗。
3.4 智能多流降WA，有效提升SSD壽命
圖7： Ceph場景下智能多流特性測試
在Ceph方案中，基于標(biāo)準(zhǔn)JESD 219業(yè)務(wù)模型，針對SSD分別開啟、關(guān)閉智能多流進行寫放大測試，通過圖7對比驗證結(jié)果可以看到憶聯(lián)智能多流（IMS）開啟后，SSD寫放大降低20%+，極大提升了SSD壽命。
本次驗證清晰顯示了憶聯(lián)SSD 在Ceph分布式存儲系統(tǒng)下性能的穩(wěn)定發(fā)揮，有效地支撐了Ceph的存儲需求，可提供始終如一的高性能，成為軟件定義存儲解決方案最優(yōu)的選擇。同時，憶聯(lián)SSD獨有的智能多流技術(shù)可降低分布式存儲場景下SSD寫放大，提升SSD壽命，幫助用戶減少總體TCO。對于Ceph分布式存儲系統(tǒng)而言，憶聯(lián)SSD是一個可真正做到高性能、高可靠、低成本的存儲解決方案。
地址：深圳市南山區(qū)記憶科技后海中心B座19樓
電話：0755-2681 3300
郵箱：support@unionmem.com
