北京2021年9月2日 /美通社/ -- 近期,浪潮信息首席架構(gòu)師葉毓睿撰寫了一篇關(guān)于SPC-1基準(zhǔn)性能測(cè)試的文章,深度解讀了為何說(shuō)SPC-1是存儲(chǔ)界“奧林匹克”,以下為文章全文:
全球存儲(chǔ)性能委員會(huì)(SPC)是由世界級(jí)存儲(chǔ)供應(yīng)商聯(lián)合組成的一個(gè)非盈利機(jī)構(gòu),是一個(gè)專注于存儲(chǔ)行業(yè)供應(yīng)商性能評(píng)測(cè)的中立機(jī)構(gòu)。針對(duì)存儲(chǔ)行業(yè)的需求和關(guān)注,SPC創(chuàng)建了全球第一個(gè)存儲(chǔ)行業(yè)標(biāo)準(zhǔn)的性能標(biāo)準(zhǔn)。從組件級(jí)評(píng)估到完整的存儲(chǔ)系統(tǒng)測(cè)量,SPC提供了嚴(yán)格的、經(jīng)過審計(jì)的、可靠的和可重復(fù)驗(yàn)證的性能度量。
SPC-1基準(zhǔn)測(cè)試,設(shè)計(jì)了存儲(chǔ)系統(tǒng)在企業(yè)關(guān)鍵業(yè)務(wù)應(yīng)用場(chǎng)景下的負(fù)載模型,覆蓋結(jié)構(gòu)化數(shù)據(jù)為主的數(shù)據(jù)庫(kù)、電子郵件等在線事務(wù)處理(OLTP)應(yīng)用,其IO模式特征包括讀寫響應(yīng)時(shí)間敏感度、工作負(fù)載的多樣性及動(dòng)態(tài)變化、性能表現(xiàn)長(zhǎng)時(shí)間穩(wěn)定可靠等共計(jì)8種數(shù)據(jù)訪問行為的模擬。
每個(gè)測(cè)試的存儲(chǔ)型號(hào)對(duì)應(yīng)的SPC-1報(bào)告都包含兩個(gè)版本:Executive Summary(英文縮寫為ES,也即精簡(jiǎn)版)和Full Disclosure Report(英文縮寫為FDR,也即完整版),完整版包括了詳細(xì)的測(cè)試環(huán)境、定義、流程、數(shù)據(jù)表等信息。另外,為了體現(xiàn)公正性和可驗(yàn)證的特點(diǎn),SPC官網(wǎng)還提供了報(bào)告的支持文件,也即SF,Supporting Files(英文縮寫為SF,也即支持文件)是一個(gè)ZIP壓縮包,包括了腳本(如WORKLOAD GENERATOR,工作負(fù)載生成器)、配置文件,以及在測(cè)量過程中所取得的結(jié)果(如摘要、電子表格等)。
SPC-1要求非常嚴(yán)格,為了更接近用戶真實(shí)使用情況,全球存儲(chǔ)性能委員會(huì)在許多細(xì)節(jié)上做出了限制。例如,在開始評(píng)估性能之前,存儲(chǔ)系統(tǒng)要進(jìn)行長(zhǎng)達(dá)8個(gè)小時(shí)持續(xù)寫入的穩(wěn)定性測(cè)試(簡(jiǎn)稱長(zhǎng)穩(wěn)測(cè)試,也即SUSTAIN TEST),避免存儲(chǔ)陣列的緩存命中,或全閃存陣列初次寫入,導(dǎo)致性能虛高。
為了進(jìn)一步詳細(xì)了解這一優(yōu)異性能背后的含義,下面我們會(huì)從可靠性、穩(wěn)定性、性能、成本等方面進(jìn)行剖析。并結(jié)合榜單上其他數(shù)據(jù)進(jìn)行對(duì)比分析。
剖析SPC-1組成部分
此次測(cè)試采用的是SPC-1較新的版本v3.10,從SPC官方網(wǎng)頁(yè)
http://www.spcresults.org/specifications#spc-1
可以下載到2021年1月1日啟用的這個(gè)版本的詳細(xì)介紹,有105頁(yè)。和上次浪潮存儲(chǔ)16控登頂(2020年3月),AS5600G2的752萬(wàn)IOPS采用的v3.10相比,變化不大。
不過,在2020年5月8日,SPC啟動(dòng)了一個(gè)The SPC-1? Gold Star計(jì)劃,詳見
https://www.storageperformance.org/goldstar
Gold Star計(jì)劃推動(dòng)五項(xiàng)新擴(kuò)展,新的基準(zhǔn)擴(kuò)展提供了對(duì)存儲(chǔ)系統(tǒng)支持現(xiàn)代企業(yè)數(shù)據(jù)可管性的關(guān)鍵能力的真實(shí)評(píng)估:
1)數(shù)據(jù)縮減 Data Reduction
2)快照管理 Snapshot Management
3)數(shù)據(jù)復(fù)制 Data Replication
4)無(wú)縫加密 Seamless Encryption
5)無(wú)中斷軟件升級(jí) Non-Disruptive Software Upgrade
以無(wú)中斷軟件升級(jí)(Non-Disruptive Software Upgrade)為例:無(wú)論是計(jì)劃內(nèi)的,還是計(jì)劃外的,企業(yè)級(jí)存儲(chǔ)陣列長(zhǎng)期以來(lái)一直在努力減少停機(jī)時(shí)間。任何真正尋求盡量減少停機(jī)時(shí)間的陣列的一個(gè)關(guān)鍵特性,都是能夠在保持?jǐn)?shù)據(jù)訪問的同時(shí),升級(jí)陣列上的軟件。這種擴(kuò)展需要在中等負(fù)載下進(jìn)行成功地、無(wú)中斷地升級(jí)。
為了突出顯示其SPC-1性能指標(biāo)和執(zhí)行所需全面擴(kuò)展的額外任務(wù)能力,如果測(cè)試廠商通過了這些新擴(kuò)展的基準(zhǔn)測(cè)試,SPC允許用SPC-1 Gold Star Logo(也即金星標(biāo)志)來(lái)公布測(cè)試報(bào)告。
也就是可以將上圖的左上角替換成上面帶有金黃色弧圈的金星標(biāo)志 。
下面詳細(xì)剖析SPC-1規(guī)范中對(duì)可靠性、性能、可用性和成本價(jià)格等多個(gè)維度的評(píng)估標(biāo)準(zhǔn)。
其一,可靠性。
在整個(gè)測(cè)試過程中,多個(gè)階段都會(huì)檢驗(yàn)數(shù)據(jù)的一致性。例如初始化階段、SPC度量階段(Primary Metrics Test Phases)、關(guān)電重啟再校驗(yàn)數(shù)據(jù)的一致性,確保存儲(chǔ)能夠經(jīng)受高可靠性的嚴(yán)格測(cè)試。
SPC-1還要求合規(guī)的TSC能夠防止單點(diǎn)故障。并明確提出:任何存儲(chǔ)設(shè)備在TSC中的單點(diǎn)故障,都不要用戶干預(yù),來(lái)恢復(fù)對(duì)基準(zhǔn)數(shù)據(jù)庫(kù)的訪問;任何組件在TSC中的單點(diǎn)故障,都不要用戶干預(yù),來(lái)恢復(fù)對(duì)基準(zhǔn)數(shù)據(jù)庫(kù)的訪問。
備注:TSC指Tested Storage Configuration,用于測(cè)試的存儲(chǔ)的配置。
其二,IOPS。
SPC-1 IOPS是一個(gè)科學(xué)的、但又復(fù)雜的I/O模型的負(fù)載組合。參與廠商需要對(duì)自己的存儲(chǔ)有著深入的了解,先預(yù)估出比較合理的性能高峰值。然后再根據(jù)這個(gè)值,運(yùn)行SPC-1的I/O模型,檢驗(yàn)在延時(shí)、可靠性、擴(kuò)展性等基準(zhǔn)測(cè)試的約束下是否能夠符合要求。如果不符合,再去調(diào)整性能高峰值。
備注:在SPC規(guī)范里特別強(qiáng)調(diào),所有特殊的基準(zhǔn)測(cè)試,也即用來(lái)改進(jìn)測(cè)試結(jié)果,但如果不是普遍的、真實(shí)世界的性能實(shí)現(xiàn),都是禁止的。如果詳細(xì)剖析I/O模型,我們會(huì)發(fā)現(xiàn)其測(cè)試負(fù)載組合模擬了用戶的各種常用業(yè)務(wù)場(chǎng)景,因此是科學(xué)的、全面的。
如果預(yù)估值是2300萬(wàn)IOPS,那么負(fù)載百分比(Load Percentage)為100的時(shí)候,壓測(cè)的性能就是按照2300萬(wàn)IOPS準(zhǔn)備的。例如下表的RAMPD_100、SUSTAIN、RAMPU_100、REPEAT_1_100、REPEAT_2_100。而RAMPD_10對(duì)應(yīng)的Load Percentage是10,也就意味著這個(gè)Test Group的壓測(cè)按照10%,也即230萬(wàn)IOPS準(zhǔn)備。
浪潮存儲(chǔ)根據(jù)SPC Benchmark Official Specification,制作了一份簡(jiǎn)單易懂的表格,如下圖。三個(gè)ASU的讀負(fù)載總和為39.44%,寫負(fù)載總和為60.56%,兩者之和為100% 。
三個(gè)ASU(Application Storage Units,業(yè)務(wù)應(yīng)用存儲(chǔ)單元),分別提供45%、45%、10% 存儲(chǔ)空間比例,總和為100%。每個(gè)ASU有著不同的IO流,ASU 1是Data Store,例如它的第三類IO流(其實(shí)就是混合負(fù)載SMIX),也即上面表格中字段名為“IO塊大小”,對(duì)應(yīng)的記錄為ASU1的第三行,它的IO塊大小不是固定的,從下表能看出,它是從8個(gè)block到128個(gè)block不同Transfer Size的組合,意味著IO塊大小是從4k到64k,根據(jù)下面轉(zhuǎn)載表格提供的Size大小及百分比,不難算出SMIX負(fù)載的平均IO大小為14.4KB。
不同ASU的不同IO流,都有著各自的流負(fù)載,并規(guī)定了讀寫比例。所有IO流(總共8種)的讀負(fù)載總和與寫負(fù)載總和之和為100% 。
下面再詳細(xì)列舉一下ASU 1的四類I/O數(shù)據(jù)流:
作為Data Store的ASU 1的IO讀較多、寫較少。其他ASU,如做為User Store的ASU 2的IO讀較少、寫較多;而作為L(zhǎng)og/Sequential Write的ASU 3,是100%的寫。這樣,就能比較全面的覆蓋用戶各種常用業(yè)務(wù)場(chǎng)景。ASU 2和ASU 3的IO流細(xì)節(jié)依次如下:
其三,延時(shí)。延時(shí)方面的指標(biāo)至少有三個(gè)。
一是平均延時(shí),也即SPC-1 IOPS Response Time。一般各個(gè)IT廠商新聞?lì)愇恼吕锾岬降难訒r(shí)就是這個(gè)。例如2020年3月,浪潮存儲(chǔ)AS5600G2獲得752萬(wàn)IOPS、0.472毫秒;以及2021年8月,浪潮高端全閃HF18000G5獲得2300萬(wàn)IOPS、0.294毫秒(低于0.3ms)。
二是延時(shí)帶寬對(duì)比圖,也即Response Time vs. Throughput Graph。
坐標(biāo)軸的橫軸是從RAMPD_10到RAMPD_100的6個(gè)IOPS取樣點(diǎn),縱軸是平均響應(yīng)時(shí)間,例如預(yù)估性能最高值是2300萬(wàn)IOPS,取樣點(diǎn)則包括230萬(wàn)IOPS(也即RAMPD_10)、1150萬(wàn)(RAMPD_50)、1840萬(wàn)(RAMPD_80)、2070萬(wàn)(RAMPD_90)、2185萬(wàn)(RAMPD_95)和2300萬(wàn)IOPS(RAMPD_100),坐標(biāo)軸的縱軸對(duì)應(yīng)的延時(shí)毫秒值。
隨著測(cè)試負(fù)載的增加,如果平均延遲呈線性,或者緩慢增加,并未出現(xiàn)陡增的拐點(diǎn),意味著存儲(chǔ)系統(tǒng)穩(wěn)定性和潛力較好。例如下圖,浪潮高端全閃HF18000G5的表現(xiàn)優(yōu)異。
三是總體響應(yīng)時(shí)間,也即Overall Response Time。
SPC-1的總體響應(yīng)時(shí)間的計(jì)算公式如下,它采用類似方差的方式,通過計(jì)算相鄰IOPS取樣點(diǎn)之間延時(shí)的差異,來(lái)評(píng)估總體延時(shí)的波動(dòng)或偏離程度。如上圖黃色間斷線所示。
其四,穩(wěn)定性。
長(zhǎng)穩(wěn)測(cè)試階段證明了連續(xù)測(cè)量期間,最大的可持續(xù)I/O請(qǐng)求至少需要8小時(shí)。其目的是,能夠容易為客戶、顧問或業(yè)內(nèi)廠商證明SPC-1 IOPS的結(jié)果,在需要長(zhǎng)期I/O請(qǐng)求的業(yè)務(wù)系統(tǒng)環(huán)境中,能夠保持長(zhǎng)期持續(xù)穩(wěn)定的性能。
此測(cè)試階段計(jì)算的I/O請(qǐng)求吞吐量必須在報(bào)告的SPC-1 IOPS 結(jié)果的5%以內(nèi)浮動(dòng)。從OLTP類應(yīng)用的需求考慮,延遲小于30毫秒才算通過;不過,大多數(shù)送測(cè)廠商會(huì)覺得超過2毫秒,甚至超過1毫秒就無(wú)法接受了。
長(zhǎng)穩(wěn)測(cè)試階段可以約束報(bào)告的SPC-1 IOPS的結(jié)果(也即最大值)。長(zhǎng)穩(wěn)測(cè)試階段必須在與RAMPD_100測(cè)試階段相同的負(fù)載水平上運(yùn)行。
最后,成本。
成本方面的指標(biāo)至少有兩個(gè)。
一方面是性能價(jià)格比。SPC-1 PRICE-PERFORMANCE,SPC-1總性價(jià)比的計(jì)算方式是使用系統(tǒng)總價(jià)格除以SPC-1 IOPS,有時(shí)衡量單位是$/SPC-1 KIOPS,表示每千個(gè)SPCI-1 IOPS的價(jià)格。
另一方面是容量?jī)r(jià)格比。SPC-1 ASU Price定義為總系統(tǒng)價(jià)格除以SPC-1 ASU的容量,衡量單位是$/GB。
浪潮高端全閃 SPC-1實(shí)際報(bào)告解讀
從https://spcresults.org/benchmarks/results/spc1-spc1e可以下載到各個(gè)廠商在不同時(shí)期的產(chǎn)品測(cè)試報(bào)告。我們選取幾個(gè)重要的報(bào)告和信息來(lái)進(jìn)行解讀和比較,以浪潮高端全閃HF18000G5和其他排名靠前的廠商或產(chǎn)品為例。如下圖紅框內(nèi)所示,可單擊下載ES(精簡(jiǎn)版,PDF格式)、FDR(完整版,PDF格式)和SF(支持文件,ZIP格式)。
第一,概覽。
在浪潮高端全閃HF18000G5的SPC-1精簡(jiǎn)版報(bào)告《A32023_ES》這個(gè)PDF里,能看到幾乎所有的重要信息。其中包括2300萬(wàn)(精確值是23001502)的SPC-1 IOPS;SPC-1性能方面的性價(jià)比為$375.56/SPC-1 KIOPS(遠(yuǎn)好過于總榜第二名,第二名SPC-1 IOPS約為2100萬(wàn),該報(bào)告對(duì)應(yīng)的文件是A32018_ES.pdf),容量?jī)r(jià)格比為$10.58/GB。
平均延時(shí)SPC-1 IOPS Response Time為0.294毫秒,總體響應(yīng)時(shí)間SPC-1 Overview Response Time為0.246毫秒,整個(gè)系統(tǒng)設(shè)置為Protected 2,能防止單點(diǎn)故障;數(shù)據(jù)保護(hù)方式為RAID 10。
下載浪潮高端全閃HF18000G5的SPC-1完整版報(bào)告《A32023_FDR》,這個(gè)PDF,可以看到更多詳細(xì)信息。
根據(jù)SPC-1 IOPS以及ASU Capacity的配置,并結(jié)合SUSTAIN–Data Rate Graph圖表,我們還可以計(jì)算出來(lái),在SPC開始統(tǒng)計(jì)性能之前,長(zhǎng)達(dá)8小時(shí)的持續(xù)寫入(SUSTAIN 長(zhǎng)穩(wěn)測(cè)試),使得整個(gè)浪潮高端全閃HF18000G5的ASU Capacity的空間,寫入超過20次以上,避免了性能的虛高。
第二,拓?fù)鋱D。
從下圖可以看出,浪潮高端存儲(chǔ)采用32個(gè)控制器,每個(gè)控制器部署10個(gè)16Gb FC前端端口,15個(gè)1.92TB NVMe SSD和3個(gè)375GB Optane SSD。
HF18000G5通過兩臺(tái)Inspur FS9620光纖交換機(jī)連接到62臺(tái)服務(wù)器(Inspur NF5280M5)。
第三,成本。
此次浪潮存儲(chǔ)的測(cè)試配置還包含了浪潮光纖導(dǎo)向器FS9620。在報(bào)告中,我們可以看到“Storage Configuration Pricing”一欄中,總價(jià)格包含了FS9620的價(jià)格,如下表:
然而,我們看到SPC-1網(wǎng)站中,有些廠商,沒有光纖交換連接的部件,如交換機(jī)FC Switch,或者導(dǎo)向器FC Direct的配置和報(bào)價(jià)??赡苁褂玫氖侵边B方式,因此拉低了系統(tǒng)的總體價(jià)格。但用戶需要清楚的是,實(shí)際部署這種高性能低延遲的中高端存儲(chǔ),光纖交換連接的部件是不可或缺的。
每個(gè)送測(cè)的廠商,都必須在報(bào)告的“Storage Configuration Pricing”部分,給出詳細(xì)的組件、數(shù)量、價(jià)格和整個(gè)送測(cè)系統(tǒng)的總價(jià)。這樣才能確保是性價(jià)比,而非僅僅是最高峰性能的比較,這樣對(duì)最終用戶更有參考價(jià)值。
第四,穩(wěn)定性。
在第一部分“剖析SPC-1測(cè)試要素”中已經(jīng)提到:SPC-1 IOPS結(jié)果在5%以內(nèi)浮動(dòng),多數(shù)送測(cè)廠商會(huì)努力將延遲做到1毫秒以內(nèi)。
浪潮高端全閃HF18000G5在8個(gè)小時(shí)的長(zhǎng)穩(wěn)測(cè)試中表現(xiàn)出色(詳見FDR中SUSTAIN – Response Time Graph圖表),非常平穩(wěn),近乎一條直線。如下圖,即使是在縱坐標(biāo)軸非常狹窄的區(qū)域(0到0.6毫秒)的呈現(xiàn)中,波動(dòng)幅度很小。
SPC-1性能榜單中某TOP 4的其他廠商在8個(gè)小時(shí)的長(zhǎng)穩(wěn)測(cè)試中表現(xiàn)抖動(dòng)。如下圖,測(cè)試開始20分鐘左右,突然陡增到約1.65毫秒,正因如此其FDR報(bào)告SUSTAIN – Response Time Graph圖表的縱坐標(biāo)軸的區(qū)域不得不放寬到0到1.8毫秒。
浪潮存儲(chǔ)如何做到穩(wěn)定性,可以在2020-06-28發(fā)表的如下文章找到部分答案。
《登頂SPC-1,兼顧“性能”與“可靠”的雙料王者》
https://mp.weixin.qq.com/s/QA0ZK6ZMGS-gBFONocISsg
第五,延時(shí)。
高IOPS、高并發(fā),對(duì)存儲(chǔ)系統(tǒng)的延時(shí)是巨大的挑戰(zhàn)??梢钥闯黾词乖?300多萬(wàn)這么高的IOPS下,浪潮高端全閃HF18000G5延時(shí)僅0.294毫秒??傮w響應(yīng)時(shí)間為0.246毫秒。這一成績(jī)比2020年3月,浪潮存儲(chǔ)AS5600G2全閃存的752萬(wàn)IOPS、0.472毫秒延,有所改善。
小結(jié):報(bào)告對(duì)比
通過比較才能看出更多信息。我們選取SPC-1中,最近三年內(nèi),也即從2018年到2021年,并且性能超過1000萬(wàn)IOPS的存儲(chǔ),我們發(fā)現(xiàn)僅剩下4個(gè)型號(hào),包括浪潮存儲(chǔ)、富士通等,浪潮高端全閃HF18000G5在總IOPS、平均延時(shí)、總體響應(yīng)時(shí)間、性能性價(jià)比(SPC-1 Price Performance)、單控IOPS、單盤IOPS等方面均排名第一。
總而言之,作為多控制器的高端存儲(chǔ)產(chǎn)品,浪潮高端全閃HF18000G5(32控),在SPC-1性能總榜中位列全球第一。
以下是索引和擴(kuò)展閱讀:
1、 SPC-1?基準(zhǔn)評(píng)測(cè)性能排名前10的產(chǎn)品報(bào)告
http://www.spcresults.org/benchmarks/results/top10/performance/spc1/3
2、SPC-1官方規(guī)范
http://www.spcresults.org/specifications#spc-1
3、存儲(chǔ)性能委員會(huì) 簡(jiǎn)介
https://baike.baidu.com/item/%E5%AD%98%E5%82%A8%E6%80%A7%E8%83%BD%E5%A7%94%E5%91%98%E4%BC%9A/23189723?fr=aladdin
作者:浪潮信息首席架構(gòu)師葉毓睿