基于第四代英特爾?至強(qiáng)?可擴(kuò)展處理器的浪潮云海超融合壓縮和糾刪功能設(shè)計(jì)

北京2023年11月17日 /美通社/ -- 浪潮云海InCloud Rail超融合一體機(jī)通過軟件定義計(jì)算、存儲和網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)服務(wù)器的資源池化，為整個IT環(huán)境提供更高的可用性、安全性和擴(kuò)展性，能夠滿足企業(yè)對于降低成本、簡化管理、提高安全性和擴(kuò)展性的需求，助力企業(yè)遷移核心業(yè)務(wù)上云，構(gòu)建企業(yè)云數(shù)據(jù)中心。

面向海量的數(shù)據(jù)處理需求，浪潮云海超融合一體機(jī)提出一種融合壓縮和糾刪功能于一體的數(shù)據(jù)存儲空間優(yōu)化方案，該方案基于英特爾^®至強(qiáng)^®可擴(kuò)展處理器提供的QAT加速器實(shí)現(xiàn)壓縮功能，同時(shí)使用英特爾^®智能加速庫實(shí)現(xiàn)糾刪功能，可同時(shí)支持?jǐn)?shù)據(jù)壓縮和糾刪。在超融合一體機(jī)的海量應(yīng)用歸檔數(shù)據(jù)場景，它需要在應(yīng)用運(yùn)行質(zhì)量較少受影響的前提下，盡可能提升數(shù)據(jù)存儲效率。在控制成本的前提下，開啟同時(shí)支持壓縮和糾刪特性，對于數(shù)據(jù)庫應(yīng)用節(jié)省存儲空間最高可達(dá)70.5%，且對性能的影響較低，能夠助力用戶提升數(shù)據(jù)庫系統(tǒng)的投資收益、釋放數(shù)據(jù)價(jià)值。

浪潮云海超融合一體機(jī)分布式存儲InCloud dSAN

InCloud dSAN是浪潮云海超融合一體機(jī)中新一代的軟件定義存儲產(chǎn)品，面向用戶在私有云、大數(shù)據(jù)、高性能應(yīng)用、云原生、云邊協(xié)同等多元化的應(yīng)用場景。隨著Intel 新一代CPU、NVMe硬盤、RDMA智能網(wǎng)卡等高性能物理硬件普及，InCloud dSAN在系統(tǒng)設(shè)計(jì)方面根據(jù)新一代物理硬件特點(diǎn)設(shè)計(jì)多種特色功能：

• 全異步和無鎖化的編程技術(shù)，發(fā)揮CPU多核性能，：基于SPDK (Storage Performance Development Kit)高性能存儲開發(fā)套件，引入Reactor、Thread、Poller三層邏輯抽象，設(shè)計(jì)輪詢、異步化、無鎖的軟件框架，從網(wǎng)絡(luò)、磁盤、管理等模塊發(fā)揮CPU多核能力。
• 多種鏈路傳輸技術(shù)，支持多種組網(wǎng)形態(tài)：設(shè)計(jì)全棧RDMA功能，從虛擬機(jī)、存儲協(xié)議層、副本數(shù)據(jù)轉(zhuǎn)發(fā)層等內(nèi)部網(wǎng)絡(luò)傳輸方面，支持全棧的用戶態(tài)RDMA鏈路傳輸，利用RDMA零拷貝特性降低時(shí)延。
• 全新的存儲引擎設(shè)計(jì)，發(fā)揮NVMe極致性能：設(shè)計(jì)基于裸盤讀寫的全新引擎，設(shè)計(jì)元數(shù)據(jù)、日志、數(shù)據(jù)等邏輯空間，實(shí)現(xiàn)元數(shù)據(jù)管理、數(shù)據(jù)分配和I/O調(diào)度等邏輯。特別是針對NVMe硬盤，基于SPDK存儲開發(fā)套件中的用戶態(tài)NVMe庫實(shí)現(xiàn)特有的NVMe存儲引擎。

浪潮云海超融合在新一代G7硬件平臺的壓縮和糾刪功能設(shè)計(jì)

在超融合的應(yīng)用場景中，針對金融、醫(yī)療等行業(yè)的數(shù)據(jù)庫應(yīng)用不僅對實(shí)時(shí)讀寫、隨機(jī)I/O訪問和大規(guī)模數(shù)據(jù)集等場景對存儲性能有極高要求，同時(shí)對于歸檔數(shù)據(jù)的存儲空間也提出了新的需求，如醫(yī)療行業(yè)常見的PACS（Picture Archiving and Communication System）影像歸檔和通信系統(tǒng)，將日常產(chǎn)生的醫(yī)學(xué)影像（包括核磁、CT、超聲等圖像）通過數(shù)字化方式海量存儲，同時(shí)在需要時(shí)可快速調(diào)回查看，對存儲系統(tǒng)歸檔和性能有較高的要求。為了應(yīng)對此場景，浪潮云海新一代超融合一體機(jī)的InCloud dSAN設(shè)計(jì)了新型的數(shù)據(jù)壓縮和糾刪功能，該功能集成英特爾^®QAT加速器和ISA-L加速庫，在原有的高性能設(shè)計(jì)方案基礎(chǔ)上滿足了極致性能和極致數(shù)據(jù)壓縮兩種需求。

壓縮和糾刪方案主要思想：將壓縮和糾刪計(jì)算放置于緩存下刷階段，可以避免在I/O訪問過程中的壓縮和糾刪計(jì)算的性能損耗。通過智能的緩存管理，保障了熱點(diǎn)數(shù)據(jù)的I/O訪問集中在緩存層，避免在數(shù)據(jù)訪問過程中的透寫。

• 數(shù)據(jù)分層管理：將數(shù)據(jù)存儲劃分為緩存層和數(shù)據(jù)層，其中緩存層使用高性的NVMe和Sata SSD存儲，同時(shí)在緩存層使用多副本的設(shè)計(jì)，提供高性能數(shù)據(jù)存儲能力。數(shù)據(jù)層提供冷數(shù)據(jù)存儲，主要由HDD硬盤存儲，提供高容量存儲空間。
• 智能緩存管理：設(shè)計(jì)冷熱分層的智能緩存管理，高效識別熱點(diǎn)數(shù)據(jù)和冷數(shù)據(jù)?？芍С轴槍μ囟ǖ臄?shù)據(jù)設(shè)置優(yōu)先級，保證需要支持壓縮和糾刪的數(shù)據(jù)區(qū)域可優(yōu)先保存于緩存空間中。
• 數(shù)據(jù)空間高效存儲：在緩存層中由于副本存儲，將上層應(yīng)用的小塊IO聚合，當(dāng)數(shù)據(jù)變成冷數(shù)據(jù)下刷至存儲層時(shí)，由于下刷采用數(shù)據(jù)對齊，可聚合成大塊的順序條帶讀寫，可以在數(shù)據(jù)層進(jìn)行高效的數(shù)據(jù)存儲。
• 壓縮和EC加速計(jì)算：在緩存層數(shù)據(jù)下刷時(shí)，首先經(jīng)過QAT壓縮處理，經(jīng)過壓縮的數(shù)據(jù)調(diào)用EC計(jì)算，將糾刪和壓縮數(shù)據(jù)存放到數(shù)據(jù)存儲層。

為了驗(yàn)證該方案的性能，測試數(shù)據(jù)采用在金融和醫(yī)療等行業(yè)常見的基礎(chǔ)Linux虛擬機(jī)鏡像、Windows系統(tǒng)的SQLServer數(shù)據(jù)庫，及Linux系統(tǒng)的Oracle數(shù)據(jù)庫應(yīng)用。調(diào)整QAT壓縮的等級及ISA-L的EC糾刪K/M模型，測試在不同的模型壓縮、糾刪及壓縮和糾刪后的節(jié)省空間，從測試結(jié)果分析，同時(shí)開啟QAT和EC糾刪最大空間可以節(jié)省比例達(dá)70.5%。

收益

充分發(fā)揮第四代英特爾^®至強(qiáng)^®可擴(kuò)展處理器內(nèi)置的英特爾^®QAT加速器能力，QAT加速器對于數(shù)據(jù)庫應(yīng)用節(jié)省數(shù)據(jù)空間為58.4%，EC糾刪根據(jù)不同的K/M模型可計(jì)算節(jié)省空間比例，在指定特定K/M模型壓縮和糾刪功能可節(jié)省70.5%。

總結(jié)

浪潮云海InCloud Rail新一代超融合一體機(jī)，依托于英特爾^®QAT和ISA-L軟件加速庫技術(shù)，設(shè)計(jì)可同時(shí)支持壓縮、糾刪、"壓縮和糾刪"等不同的空間節(jié)省方案，采用獨(dú)特的數(shù)據(jù)分層、智能緩存管理、軟件硬協(xié)同等設(shè)計(jì)，完美解決了兼顧高性能、高數(shù)據(jù)冗余度和高存儲空間利用率等技術(shù)難題。