omniture

元宇宙存儲(chǔ):如何為ZB級(jí)數(shù)據(jù)打造魔法護(hù)盾

2022-06-16 21:37 5006

北京2022年6月16日 /美通社/ --百萬(wàn)獵人兵臨城下,向魔法護(hù)盾發(fā)起猛烈沖擊,卻無(wú)法將擁有99級(jí)神力的護(hù)盾撼動(dòng)分毫。

這是科幻電影《頭號(hào)玩家》里的一幕。電影里,不僅"綠洲"被視為元宇宙未來(lái)理想形態(tài),"魔法護(hù)盾"也迅速跨界出圈,在企業(yè)數(shù)據(jù)管理領(lǐng)域引發(fā)關(guān)注。這是因?yàn)殡S著數(shù)字經(jīng)濟(jì)快速發(fā)展,數(shù)據(jù)要素在受到企業(yè)重視的同時(shí),全球超80%的IT決策者認(rèn)為現(xiàn)有數(shù)據(jù)保護(hù)方案無(wú)法滿足未來(lái)業(yè)務(wù)挑戰(zhàn),保護(hù)好數(shù)據(jù)資產(chǎn)成為企業(yè)的當(dāng)務(wù)之急。

日前,在由存儲(chǔ)產(chǎn)業(yè)技術(shù)創(chuàng)新聯(lián)盟主辦的"元宇宙存儲(chǔ)研究與實(shí)踐"開(kāi)放計(jì)算技術(shù)沙龍上,來(lái)自中科大、華中大、鄭州大學(xué)以及浪潮存儲(chǔ)的"產(chǎn)學(xué)研用"各界專(zhuān)家匯聚一堂,在關(guān)注元宇宙存儲(chǔ)發(fā)展的同時(shí),還共同就糾刪碼優(yōu)化、細(xì)粒度感知等數(shù)據(jù)保護(hù)話題展開(kāi)討論。本次沙龍是場(chǎng)景共同體戰(zhàn)略的承襲和實(shí)踐,浪潮信息存儲(chǔ)產(chǎn)品線總經(jīng)理李輝曾提出,面向?qū)映霾桓F的新應(yīng)用、新場(chǎng)景,攜手產(chǎn)業(yè)鏈伙伴推進(jìn)"平臺(tái)+生態(tài)"戰(zhàn)略,以六種模式加速企業(yè)數(shù)字轉(zhuǎn)型。

內(nèi)容概要:

  1. 元宇宙為代表的新應(yīng)用帶來(lái)數(shù)據(jù)規(guī)模十倍、百倍激增,全球超80%IT決策者認(rèn)為現(xiàn)有數(shù)據(jù)保護(hù)方案無(wú)法滿足未來(lái)業(yè)務(wù)挑戰(zhàn)。
  2. 多副本、糾刪碼是業(yè)界數(shù)據(jù)容錯(cuò)的兩種主流技術(shù)。多副本存儲(chǔ)開(kāi)銷(xiāo)大,糾刪碼開(kāi)銷(xiāo)小,糾刪碼在數(shù)據(jù)爆炸式增長(zhǎng)的新時(shí)代更受企業(yè)青睞。
  3. 糾刪碼優(yōu)化,在同一數(shù)據(jù)中心內(nèi),可以通過(guò)負(fù)載均衡技術(shù)提升數(shù)據(jù)恢復(fù)效率;在跨數(shù)據(jù)中心場(chǎng)景,可以基于LRC分組編碼技術(shù)提升跨數(shù)據(jù)中心糾刪效率。

數(shù)據(jù)保護(hù)  懸在頭頂?shù)倪_(dá)摩克里斯之劍

數(shù)字虛擬人需要收集的高達(dá)百倍甚至千倍的數(shù)據(jù)、VR頭顯從4K升級(jí)到視網(wǎng)膜級(jí)需提升10倍數(shù)據(jù)傳輸量、飛行模擬器采集的數(shù)據(jù)量超2PB。

以元宇宙為代表的新應(yīng)用帶來(lái)數(shù)據(jù)規(guī)模十倍、百倍激增,快速增長(zhǎng)的多模態(tài)數(shù)據(jù)增加了企業(yè)數(shù)據(jù)保護(hù)的難度。數(shù)據(jù)顯示,企業(yè)現(xiàn)在管理的數(shù)據(jù)量是五年前的十倍以上,全球82%、中國(guó)88%的IT決策者擔(dān)心現(xiàn)有數(shù)據(jù)保護(hù)方案無(wú)法滿足未來(lái)業(yè)務(wù)挑戰(zhàn)。

這些擔(dān)憂源自企業(yè)的現(xiàn)實(shí)困境,根據(jù)對(duì)全球1000名決策者的調(diào)研,全球30%的受訪者在過(guò)去一年中經(jīng)歷過(guò)數(shù)據(jù)丟失,45%遭遇過(guò)計(jì)劃外的系統(tǒng)停機(jī)。另?yè)?jù)IDC統(tǒng)計(jì),在過(guò)去12個(gè)月,全球超過(guò)三分之一的組織遭遇過(guò)勒索軟件攻擊或入侵,導(dǎo)致系統(tǒng)或數(shù)據(jù)無(wú)法訪問(wèn)。數(shù)據(jù)保護(hù),已然成為擺在企業(yè)數(shù)字化轉(zhuǎn)型面前的一大挑戰(zhàn)。本次沙龍,中國(guó)科學(xué)技術(shù)大學(xué)許胤龍教授以及浪潮存儲(chǔ)技術(shù)專(zhuān)家共同給出了答案。

數(shù)據(jù)容錯(cuò)  業(yè)界兩種技術(shù)流派之爭(zhēng)

"數(shù)據(jù)容錯(cuò),業(yè)界通常有兩種辦法,一種是多副本,另一種是糾刪碼",許胤龍教授表示。多副本訪問(wèn)性能高、故障修復(fù)快,但存儲(chǔ)開(kāi)銷(xiāo)比較大(燒錢(qián)、占地),令企業(yè)直呼吃不消;糾刪碼開(kāi)銷(xiāo)?。ɑㄐ″X(qián)、辦大事),一般存儲(chǔ)空間比RAID 1鏡像小,在數(shù)據(jù)爆炸式增長(zhǎng)的趨勢(shì)下更受市場(chǎng)歡迎,企業(yè)用腳投票紛紛選擇了糾刪碼。

三副本和糾刪碼對(duì)比
三副本和糾刪碼對(duì)比

時(shí)下人氣攀升的糾刪碼,究竟是什么呢? 所謂糾刪碼(Erasure Coding),是一種數(shù)據(jù)保護(hù)方法,它將數(shù)據(jù)分割成片段,把冗余數(shù)據(jù)塊擴(kuò)展、編碼,并將其存儲(chǔ)在不同位置,比如硬盤(pán)、存儲(chǔ)節(jié)點(diǎn)或其他物理位置。

"糾刪碼,可以簡(jiǎn)單理解成對(duì)原始數(shù)據(jù)做線性組合",許胤龍教授表示。比如 (2+2) 糾刪碼,就是A、B兩個(gè)數(shù)據(jù)可以做A+B和A+2B的線性組合,能容任意兩個(gè)節(jié)點(diǎn)錯(cuò),當(dāng)恢復(fù)數(shù)據(jù)的時(shí)候直接解方程就行。一般情況下,業(yè)界常用的是(k,m)-MDS碼,把k個(gè)數(shù)據(jù)編碼成m個(gè)校驗(yàn)數(shù)據(jù),k+m個(gè)數(shù)據(jù)塊形成一個(gè)條帶,最多可以容許m個(gè)塊同時(shí)故障。工業(yè)界常見(jiàn)的m一般是2或3,數(shù)據(jù)規(guī)模較大的話,可以把m設(shè)為4~6。

糾刪碼 跑得如絲般順滑并非易事

糾刪碼"花小錢(qián)、辦大事"的優(yōu)勢(shì)雖然非常明顯,但要在超大規(guī)模數(shù)據(jù)中心內(nèi)或者是跨數(shù)據(jù)中心使用糾刪碼做數(shù)據(jù)保護(hù),卻需要過(guò)五關(guān)闖六將,絕非易事。

第一關(guān):同一數(shù)據(jù)中心內(nèi),數(shù)據(jù)恢復(fù)的網(wǎng)絡(luò)傳輸時(shí)間占比超90%,糾刪碼"龜速"難題如何破。

糾刪碼能夠降低存儲(chǔ)成本、提高容錯(cuò)能力,但糾刪碼最大的問(wèn)題是在數(shù)據(jù)丟失之后,數(shù)據(jù)恢復(fù)過(guò)程需要從其他地方讀取大量數(shù)據(jù),故障修復(fù)堪稱(chēng)龜速。通過(guò)對(duì)糾刪碼"從存活節(jié)點(diǎn)讀取數(shù)據(jù)、傳輸、在備份節(jié)點(diǎn)解碼、傳輸、在替代節(jié)點(diǎn)寫(xiě)入"的整個(gè)流程做分析,發(fā)現(xiàn)網(wǎng)絡(luò)傳輸占整個(gè)數(shù)據(jù)恢復(fù)時(shí)間的比例超90%,如何優(yōu)化數(shù)據(jù)恢復(fù)時(shí)間呢?

首先,數(shù)據(jù)分批恢復(fù)。在實(shí)際系統(tǒng)里面,數(shù)據(jù)塊是隨機(jī)的分布到不同的節(jié)點(diǎn)里,隨機(jī)數(shù)據(jù)分布從統(tǒng)計(jì)概率的角度來(lái)說(shuō),是能達(dá)到負(fù)載均衡的。但一般來(lái)說(shuō),在系統(tǒng)實(shí)現(xiàn)的時(shí)候,一般來(lái)說(shuō)因?yàn)橄到y(tǒng)IO、內(nèi)存、CPU資源也有限,同時(shí)系統(tǒng)還要支撐前臺(tái)的應(yīng)用綜合各方面,所以修復(fù)一般都會(huì)是分批進(jìn)行。"我們做過(guò)實(shí)驗(yàn),分批比不分批大概要快15%左右",許教授表示。

清華、港中大、普渡、中科大紛紛開(kāi)展糾刪碼優(yōu)化研究
清華、港中大、普渡、中科大紛紛開(kāi)展糾刪碼優(yōu)化研究

其次,可以利用二部圖和網(wǎng)絡(luò)流圖的辦法,使得從不同的節(jié)點(diǎn)上進(jìn)行恢復(fù)的時(shí)候,不同節(jié)點(diǎn)上讀數(shù)據(jù)量是均衡的,寫(xiě)數(shù)據(jù)量也是均衡的,并且每一個(gè)節(jié)點(diǎn)承擔(dān)的恢復(fù)任務(wù)也是均衡的。清華、港中大、普渡、中科大等高校均對(duì)糾刪碼技術(shù)進(jìn)行了研究,經(jīng)過(guò)優(yōu)化中科大SelectiveEC技術(shù)能夠在90%以上的情況下都實(shí)現(xiàn)負(fù)載均衡,相比HDFS大約50%的負(fù)載均衡水平,中科大的負(fù)載均衡水平能高出70%以上,恢復(fù)速度提升30%以上。同時(shí)Selective EC比HDFS有更少的毛刺、更短的長(zhǎng)尾、更短的任務(wù)生命周期。

糾刪碼優(yōu)化結(jié)果
糾刪碼優(yōu)化結(jié)果

"我們很認(rèn)同許教授的觀點(diǎn),為了實(shí)現(xiàn)數(shù)據(jù)糾刪的負(fù)載均衡,浪潮存儲(chǔ)一直在技術(shù)上不斷打磨和創(chuàng)新",浪潮信息分布式存儲(chǔ)架構(gòu)師張立強(qiáng)表示。浪潮分布式存儲(chǔ)AS13000突破軟硬件協(xié)同寬條帶糾刪技術(shù),融合多元算力,解決數(shù)據(jù)高冗余比糾刪的計(jì)算性能、資源消耗、容量、可靠性等指標(biāo)難以兼顧的問(wèn)題。舉個(gè)例子,浪潮存儲(chǔ)創(chuàng)新研制了糾刪碼FPGA加速卡,設(shè)計(jì)可重構(gòu)最小硬件邏輯單元,實(shí)現(xiàn)編解碼復(fù)用、全糾刪比支持,實(shí)現(xiàn)寬條帶糾刪的CPU計(jì)算卸載。在32+6糾刪比配置下,浪潮存儲(chǔ)能夠?qū)⑻幚砥髌脚_(tái)的CPU占用率降低90%,性能提升390%,這就如同將汽車(chē)行駛的速度提升到了復(fù)興號(hào)的水平。其實(shí)浪潮分布式存儲(chǔ)在高校領(lǐng)域應(yīng)用廣泛,目前已經(jīng)在中科大、清華、北大、復(fù)旦、浙大、中山大學(xué)等國(guó)內(nèi)高校實(shí)現(xiàn)規(guī)?;渴?,支撐科研智慧應(yīng)用平臺(tái)穩(wěn)定運(yùn)行,以數(shù)據(jù)之力助力科研取得豐碩成果。

第二關(guān):跨數(shù)據(jù)中心場(chǎng)景,數(shù)據(jù)中心帶寬極其有限,如何"跨越萬(wàn)水千山"做糾刪。

考慮到地震、山洪、火災(zāi)等災(zāi)害因素影響,大型企業(yè)往往會(huì)跨數(shù)據(jù)中心做數(shù)據(jù)保護(hù)。所謂跨數(shù)據(jù)中心,是指多個(gè)數(shù)據(jù)中心可能建在距離城區(qū)比較遠(yuǎn)的地方或者是不同的城區(qū)的地方,這時(shí)候跨數(shù)據(jù)中心的帶寬就會(huì)很寶貴,通常跟數(shù)據(jù)中心內(nèi)部的帶寬相比,跨數(shù)據(jù)中心帶寬只有1/20。

跨數(shù)據(jù)中心帶寬約為數(shù)據(jù)中心內(nèi)帶寬的1/20
跨數(shù)據(jù)中心帶寬約為數(shù)據(jù)中心內(nèi)帶寬的1/20

RS碼部署方式在同一數(shù)據(jù)中心內(nèi)做糾刪是有優(yōu)勢(shì)的,但在跨數(shù)據(jù)中心環(huán)境下卻面臨挑戰(zhàn)。這是因?yàn)镽S碼是把一個(gè)條帶的數(shù)據(jù)均勻分布到不同數(shù)據(jù)中心去。假如現(xiàn)在有15個(gè)數(shù)據(jù)塊,把它編碼成12個(gè)校驗(yàn)塊,分散在三個(gè)數(shù)據(jù)中心,這時(shí)候只能容單個(gè)數(shù)據(jù)中心故障,存儲(chǔ)開(kāi)銷(xiāo)大概是180%,如果出現(xiàn)單塊故障,需要跨數(shù)據(jù)中心訪問(wèn)7個(gè)數(shù)據(jù)塊,需要的帶寬開(kāi)銷(xiāo)比較多。

新型LRC(Locally Repairable Code)分組編碼方式,可以在存儲(chǔ)開(kāi)銷(xiāo)和恢復(fù)性能之間做一個(gè)權(quán)衡。LRC(k,l,g)分組編碼有三個(gè)值,k表示數(shù)據(jù)塊,l代表局部校驗(yàn)塊,g是全局校驗(yàn)塊。LRC分組編碼通過(guò)讀取局部數(shù)據(jù)塊,減少重構(gòu)所需的數(shù)據(jù)量,從而提升數(shù)據(jù)修復(fù)性能。這就好比618購(gòu)物,北京小伙買(mǎi)一箱牛奶,如何用最快的速度把貨物送到顧客手里呢,電商平臺(tái)會(huì)找到距離顧客比較近的天津或河北倉(cāng)庫(kù)(類(lèi)似l局部校驗(yàn)塊)進(jìn)行配送,盡量減少?gòu)奈靼不驈V州(類(lèi)似g全局校驗(yàn)塊)調(diào)貨的概率。

LRC分組編碼技術(shù)優(yōu)化結(jié)果
LRC分組編碼技術(shù)優(yōu)化結(jié)果

按照新型部署方式,"在實(shí)際集群里面,我們實(shí)現(xiàn)了數(shù)據(jù)傳輸、數(shù)據(jù)解碼的優(yōu)化,大概能把速度提升30%",許胤龍教授表示。

"浪潮一直將可靠性視為存儲(chǔ)的生命線,在異地?cái)?shù)據(jù)保護(hù)方面做了諸多創(chuàng)新",浪潮信息存儲(chǔ)研發(fā)部何營(yíng)表示。浪潮存儲(chǔ)不僅基于一套存儲(chǔ)架構(gòu)承載塊、文件、對(duì)象、大數(shù)據(jù)等多種數(shù)據(jù)服務(wù),在WAN加速、快速重構(gòu)、透明故障切換等高級(jí)功能方面持續(xù)創(chuàng)新。以WAN廣域網(wǎng)加速技術(shù)為例,浪潮存儲(chǔ)通過(guò)數(shù)據(jù)流壓縮、固定塊切割和多數(shù)據(jù)流并發(fā),將遠(yuǎn)程傳輸性能提升高達(dá)10倍、延時(shí)降低10倍,幫助海量數(shù)據(jù)異地遷徙和災(zāi)備。

小結(jié)

伴隨元宇宙、AI、大數(shù)據(jù)新技術(shù)、新應(yīng)用不斷涌現(xiàn),數(shù)字經(jīng)濟(jì)正在成為中國(guó)經(jīng)濟(jì)發(fā)展的關(guān)鍵因素。數(shù)據(jù)顯示,從2020年到2025年數(shù)字經(jīng)濟(jì)核心產(chǎn)業(yè)增加值將從7.9萬(wàn)億提升至13萬(wàn)億,是驅(qū)動(dòng)GDP增長(zhǎng)的引擎。

"浪潮存儲(chǔ)是整體市場(chǎng)全球前四、分布式存儲(chǔ)銷(xiāo)量中國(guó)第一的存儲(chǔ)廠商,糾刪碼技術(shù)在浪潮大部分分布式存儲(chǔ)客戶中得到應(yīng)用,為產(chǎn)業(yè)轉(zhuǎn)型升級(jí)構(gòu)筑了數(shù)據(jù)護(hù)盾",浪潮信息首席架構(gòu)師葉毓睿表示。未來(lái)浪潮存儲(chǔ)將攜手產(chǎn)學(xué)研用各方力量,共建場(chǎng)景共同體驅(qū)動(dòng)社會(huì)高質(zhì)量發(fā)展。

消息來(lái)源:浪潮信息
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營(yíng)動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購(gòu)消息。掃描二維碼,立即訂閱!
collection