北京2021年8月5日 /美通社/ -- 瀝青被太陽照過后會變硬,而沒有變硬的部分,可以用一些特殊的溶劑,把它給溶解掉。觀察到這一現(xiàn)象的法國人約瑟夫·涅普斯開始思考,“我能不能用同樣的方法來試試看,能不能把現(xiàn)實世界當中的景色給放進版畫里?”他想到后,就去做了。
涅普斯不會想到,他在1826年用瀝青曬干“鼓搗”出來的人類歷史上第一張照片,會在無意間開啟了人類通往影像世界的大門。
經(jīng)歷近兩個世紀蝶變,影像技術與數(shù)字技術不斷融合,數(shù)字影像占據(jù)了行業(yè)主導。特別是隨著大數(shù)據(jù)和深度學習等新技術加持,影像大數(shù)據(jù)產(chǎn)業(yè)發(fā)展不斷提速,IDC研究表明,未來行業(yè)80%的行業(yè)數(shù)據(jù)將以照片、音頻、視頻等非結構化影像數(shù)據(jù)方式呈現(xiàn)。海量影像數(shù)據(jù)的“存”和“用”就像賽車兩個驅動輪,影響著各個行業(yè)在數(shù)字賽道上飛馳的速度。作為新存儲首倡者和引領者,浪潮存儲憑借五年五次霸榜的極致“造車”技術,持續(xù)為行業(yè)影像大數(shù)據(jù)處理提速。
行業(yè)影像數(shù)據(jù)大爆發(fā) 如何才能“接得住、存得快”
隨著行業(yè)數(shù)字化轉型不斷深入,企業(yè)數(shù)據(jù)資產(chǎn)從關鍵業(yè)務產(chǎn)生的結構化數(shù)據(jù)為主逐漸演變?yōu)榉墙Y構化影像數(shù)據(jù)為主,同時企業(yè)IT業(yè)務重心從數(shù)據(jù)管理變?yōu)閿?shù)據(jù)運營。如何提升數(shù)據(jù)存儲性能,快速從巨量影像數(shù)據(jù)中獲取數(shù)據(jù)價值,成為企業(yè)提升競爭力的關鍵。
以金融行業(yè)為例,在Bank4.0趨勢下隨著銀行網(wǎng)點向營銷型、體驗型智慧網(wǎng)點轉變,各大銀行正全面推進無紙化辦公,票據(jù)、單證、電子驗印、影像審批等業(yè)務處理過程漸趨電子化,帶來了影像數(shù)據(jù)實時存儲和處理的需求井噴式增長。
浪潮存儲方案架構師Howar表示,“金融影像大數(shù)據(jù)就像螞蟻軍團,特點是‘個頭小’、‘數(shù)量多’,海量金融影像并發(fā)處理是典型的性能密集型場景”。Howar給算了筆賬,票據(jù)影像經(jīng)過壓縮后,每個影像大小約在在幾十K至幾百K之間,多見的是100K左右的影像,但影像規(guī)模極為龐大,依據(jù)銀行規(guī)模與業(yè)務上線時間不同,單套存儲系統(tǒng)需要處理的影像規(guī)模達到數(shù)千萬至數(shù)億份。同時隨著金融監(jiān)管要求日趨嚴格,大量錄音、錄像、圖片也需要實時保存并高效訪問。
不僅金融如此,在通信、能源、交通、媒資、科研、醫(yī)療等諸多行業(yè),也同樣面臨影像大數(shù)據(jù)處理的挑戰(zhàn),這個行業(yè)用戶的共性需求可以稱之為“性能現(xiàn)象級”。其中在通信行業(yè),隨著14億人將衣食住行搬上網(wǎng)絡,移動互聯(lián)網(wǎng)2020年數(shù)據(jù)流量高達1656億GB;在互聯(lián)網(wǎng)行業(yè),快手每天產(chǎn)生1.2億個內(nèi)容標簽與用戶畫像實時匹配,內(nèi)容精準推送背后是海量數(shù)據(jù)關聯(lián)碰撞的結果;在交通領域,網(wǎng)紅城市成都有超6000路交通視頻流實時匯入,每天需要處理1億張圖片、10次搜索。這些實時數(shù)據(jù)如同長江大河源源不斷、晝夜不息地注入后端數(shù)據(jù)基礎設施,如何“接得住、存得快、用得快”成為數(shù)據(jù)存儲面對的挑戰(zhàn)。
一道“性能”考題 引出三種范式
雖然大部分行業(yè)都面臨大數(shù)據(jù)處理挑戰(zhàn),但不同行業(yè)、不同業(yè)務、不同數(shù)據(jù)生命周期的性能需求存在三種范式:以媒資4K/8K、腦成像研究等應用場景為代表,數(shù)據(jù)處理屬于“帶寬密集型”范式;以金融影像應用場景為代表,影像數(shù)據(jù)以海量小數(shù)據(jù)為主,屬于“IO密集型”范式。最后是混合型,在智慧交通、能源勘探等場景,在前期數(shù)據(jù)采集階段,海量數(shù)據(jù)流實時匯入給存儲帶寬提出了挑戰(zhàn),到了后期人工智能分析階段,企業(yè)需要處理十億級乃至百億級小文件,需要極致IO能力來支撐。
Howar告訴我們,浪潮分布式存儲能夠以一套存儲滿足上述三種性能范式需求。浪潮存儲開發(fā)了業(yè)界首個“塊、文件、對象、大數(shù)據(jù)多合一”極簡架構和iTurbo智能加速引擎,此存儲系統(tǒng)能夠統(tǒng)籌管理數(shù)千個節(jié)點,實現(xiàn)性能線性擴展。
在帶寬密集型應用中,浪潮存儲通過聚合帶寬技術,能夠支撐數(shù)據(jù)流高速吞吐,確保海量影像洪流“接得住、存得快”。同時,浪潮存儲還能進行場景化定制,比如在石油勘探場景,浪潮存儲通過對去躁、振幅補償?shù)榷囗椬鳂I(yè)的優(yōu)化配置,提升了石油勘探批量作業(yè)的處理能力,增強了易用性,確保系統(tǒng)高速穩(wěn)定運行。
在IO密集型場景,面對億級影像小文件并發(fā)處理的挑戰(zhàn),傳統(tǒng)集中式NAS存儲有些力不從心。NAS文件系統(tǒng)架構采用樹形目錄結構,遍歷影像文件需要極大的資源消耗,當影像文件達到上億級別時,就會出現(xiàn)性能嚴重下降的問題。對此,浪潮分布式存儲一套存儲支持文件、對象等多種數(shù)據(jù)類型的優(yōu)勢就顯示出來了:當用戶影像業(yè)務規(guī)模較小時,可以采用文件存儲方式,這種方式比較常見,占到中國分布式存儲約50%的市場份額,企業(yè)大部分運維人員都能輕松上手;隨著業(yè)務成長,一旦影像規(guī)模達到億級,可以采用對象方式進行扁平化管理。在對象存儲模式下,每個桶和對象都有一個全局唯一的ID,根據(jù)ID可快速實現(xiàn)對象的查找和數(shù)據(jù)的訪問,性能大幅提升。
浪潮存儲的極簡架構做得比較人性化,用戶可以根據(jù)業(yè)務需求,在多種數(shù)據(jù)服務之間進行資源切換,Howar表示。這項功能就好比浪潮存儲是一個工廠,用戶今天想開轎車就按轎車尺寸裝,過段時間想開SUV就把轎車拆了進行改裝,雖然在物理世界這個實現(xiàn)起來很有挑戰(zhàn),但在數(shù)字世界還是被浪潮存儲實現(xiàn)了。
不僅如此,浪潮存儲還針對性能開發(fā)了iTurbo智能加速引擎,通過智能IO均衡、智能資源調(diào)度、智能元數(shù)據(jù)管理等創(chuàng)新技術,與自研NVMe SSD閃存盤進行系統(tǒng)級別聯(lián)調(diào)優(yōu)化,讓百萬級IO均衡落盤且路徑更短,將存儲系統(tǒng)性能發(fā)揮到極致,有效地提升了從海量影像中“大海撈針”的效率。
五年五次飆榜 浪潮存儲將性能優(yōu)勢轉化為市場競爭力
基于對行業(yè)“性能現(xiàn)象級”的洞察和存儲技術持續(xù)打磨,浪潮存儲實現(xiàn)五年五次性能飆榜。早在2017年浪潮存儲以超150萬IOPS創(chuàng)下了8控存儲的業(yè)界最高成績,時隔3年浪潮存儲以5倍的性能再獲16控、8控、單位成本性能三項冠軍。今年浪潮存儲在分布式存儲領域再次突破,實現(xiàn)五年五次霸榜,成為全球唯一一家在分布式存儲和集中式全閃存儲兩大賽道領跑的存儲廠商。
性能賽道的強大競爭優(yōu)勢,促使浪潮存儲市場競爭力獲得提升,當前浪潮存儲已經(jīng)進階全球前五,成為全球增長最為強勁的存儲廠商。在影像大數(shù)據(jù)處理領域,浪潮存儲已經(jīng)在中國天眼天文大數(shù)據(jù)、清華大學頂級腦成像研究、中石油三維勘探、中國人壽內(nèi)容管理等數(shù)百個行業(yè)新應用中規(guī)?;渴?。未來伴隨云、大數(shù)據(jù)、人工智能等新技術發(fā)展智算中心將迎來高速發(fā)展,浪潮存儲將持續(xù)賦能行業(yè)用戶,釋放數(shù)據(jù)價值加速數(shù)字化轉型。