北京2024年7月2日 /美通社/ -- AIGC作為當下最火的技術話題，其業(yè)務流程涉及到數據的采集、處理、訓練、推理和歸檔五個階段，每個階段都面臨著不同的存儲需求和挑戰(zhàn)。隨著數據量的爆炸性增長，特別是隨著多模態(tài)數據的快速增長，對存儲系統(tǒng)的擴展性和服務兼容性也提出了新的挑戰(zhàn)。
在2024年數據基礎設施技術峰會上，浪潮信息分布式存儲產品線架構師Lance Sun博士發(fā)表了題目為"高效數據編排，加速釋放數據潛能"的主旨演講，詳細討論了高效數據編排對于解決上述挑戰(zhàn)，并釋放數據潛能的重要性。
AIGC帶來的存儲挑戰(zhàn)凸顯了數據的重要性
首先，Lance Sun博士詳細介紹了AIGC對存儲提出的需求和挑戰(zhàn)，讓我們對AIGC的業(yè)務流程和對數據存儲的需求有了更深入的認識。
第一個是巨量多模態(tài)數據的挑戰(zhàn)。很多大語言模型都采用了來自Common Crawl的數據集，這個組織在過去17年已經采集了2500億網頁，現在還在持續(xù)收集更多。IDC預測，到2025年，全球數據總量將超過175ZB，這種增長對存儲系統(tǒng)的多樣性和擴展性帶來了挑戰(zhàn)。
第二個挑戰(zhàn)是對超大讀寫帶寬的需求。在訓練階段，checkpoint的管理是關鍵，良好的存儲性能應在12分鐘內完成checkpoint的讀寫操作，確保不拖慢整個訓練過程。同時，由于GPU成本高昂，更高的存儲性能可以減少顯卡的等待時間，減少資源浪費。
第三個挑戰(zhàn)是對于讀寫IOPS的更高需求。千億級文件的快速訪問對IOPS有著極高要求，在某些采用shuffle洗牌策略的訓練過程，如果IOPS性能不夠，會導致元數據服務器產生大量的通信阻塞，同時會造成GPU集群等待，影響訓練效率，造成資源浪費。
第四個挑戰(zhàn)在于數據全生命周期管理。在數據清洗和標注算法日益發(fā)展的今天，數據作為企業(yè)的核心資產，企業(yè)需要對數據進行長期保存。于是，如何將數據以較低的成本安全存儲起來，也成為更重要的課題。
為了說明高質量數據的重要性，Lance Sun博士還提到了ImageNet數據集。作為高質量的數據集，它極大地推動了深度學習算法的發(fā)展。2012年，AlexNet在ImageNet挑戰(zhàn)賽上取得成功，這不僅驗證了深度學習模型處理復雜視覺任務的能力，也激發(fā)了后續(xù)研究和多種新算法的產生。
由此可見，數據的采集和高質量的數據清洗，對AI的發(fā)展至關重要的。過去十多年的時間里，語言類模型的數據集規(guī)模，模型參數規(guī)模，AI芯片計算能力和數據存儲需求都發(fā)生了顯著變化。
AIGC在數據歸集面臨的挑戰(zhàn)與浪潮信息的解決之道
在數據存儲方面，隨著數據集規(guī)模和多樣性增加，越發(fā)依賴更大規(guī)模的存儲服務器集群。Lance Sun博士介紹稱，很多傳統(tǒng)行業(yè)都積累了大量數據，這些數據需要在不同的存儲系統(tǒng)間進行高效的數據流轉以支持AI和大數據分析，這在現有的存儲架構中造成了數據流動的效率問題。
事實上，多數據中心和異構存儲環(huán)境中數據遷移面臨很多挑戰(zhàn)，對此，Lance Sun博士總結了三點：
第一點，數據訪問分散。數據遷移的過程對用戶來說是不透明的，嚴重依賴第三方遷移軟件，而且受網絡波動和存儲性能的影響，容易導致數據遷移時間過長，增加操作的不確定性和復雜性。
第二點，空間和時間成本的浪費。遷移過程常用糾刪或副本機制來提高可靠性，但這會導致時間和空間成本大幅增加。此外，這一過程還嚴重依賴于第三方遷移軟件的性能，不同存儲平臺的使用容量差異可能導致數據副本遷移時出現容量不均衡問題。
第三點，運維復雜性增加。由于不同存儲產品的特性差異，使得存儲廠商各自發(fā)展出不同的運維管理系統(tǒng)，數據的頻繁遷移或長時間遷移導致數據管理混亂，導致運維時間和成本顯著增加。
為了應對多數據中心和異構存儲環(huán)境中數據管理和遷移挑戰(zhàn)，浪潮信息存儲進行了大量工作，基于AS13000構建了一套全局數據管理平臺。
在全局數據管理平臺的最上層，通過一個統(tǒng)一的全局命名空間提供用戶視角的完全統(tǒng)一，確保所有數據都可以通過一個統(tǒng)一的入口進行訪問和管理，極大地簡化了數據操作流程。
第二個層面，系統(tǒng)支持多種標準協(xié)議接口，包括Linux的NFS、對象存儲的S3、大數據的HDFS、容器化的CSI接口以及Windows環(huán)境下的SMB協(xié)議。這樣的設計使得平臺能夠廣泛兼容各種應用和環(huán)境，滿足不同場景的需求。
最后一層，AS13000引入了智能數據編排和緩存系統(tǒng)。智能數據編排引擎利用人工智能算法自動讓數據在熱、溫、冷存儲之間的流轉，優(yōu)化數據存儲效率。而高效的緩存系統(tǒng)可以為短期內頻繁使用的極熱數據提供快速訪問能力，加速數據的流轉。
最終，用戶可以基于AS13000的全局數據管理平臺實現數據在任何地點，任何時間以任何類型可視可管可流動。
Lance Sun博士還指出了市場上一些方案的不足。比如，一些方案在數據采集階段使用了混閃對象存儲，而在訓練階段使用全閃存儲技術。然而，數據在兩個存儲集群的流轉非常低效，數遷移過程中，經常由于網絡波動造成文件斷傳。
相比之下，AS13000由于在一套系統(tǒng)內引入了多協(xié)議融合互通技術，直接省去了數據遷移的過程，大大提高了訓練數據的準備效率，以確保數據在訓練和處理階段的高效率和低延遲訪問。
AIGC存儲的技術展望
AIGC技術的影響力日益擴大，各大存儲廠商對此高度重視，存儲系統(tǒng)的創(chuàng)新和演進均將AIGC作為核心考量。在演講的最后，Lance Sun博士詳細介紹了浪潮信息存儲在AIGC領域的未來發(fā)展關鍵方向和技術動向，并表示浪潮存儲將持續(xù)深度融入AI生態(tài)系統(tǒng)。
在行業(yè)技術方面，GPU直連存儲技術已在眾多文件系統(tǒng)層面廣泛應用，其在大文件讀寫方面的性能表現尤為出色。浪潮信息與英偉達及業(yè)界廠商緊密合作，致力于推動完整技術體系和標準的落地。
在行業(yè)基準評測方面，浪潮信息積極參與權威的AI性能測試基準—MLperf Storage評測，并在多項負載性能評測中表現優(yōu)異，幫助企業(yè)選擇最適用于AI場景的存儲系統(tǒng)。
存儲的安全問題同樣不容忽視。英偉達在2024年的GTC大會上提到包括加密計算在內的多種安全技術，而在存儲層面，同樣需要提供強有力的數據保護措施。浪潮信息存儲正在多租戶權限隔離、防勒索等數據保護技術領域進行深入探索。
談到未來發(fā)展，Lance Sun博士表示，存儲性能的持續(xù)優(yōu)化是浪潮信息存儲的核心目標。浪潮信息將繼續(xù)通過軟硬件結合的持續(xù)創(chuàng)新，力求在智算產業(yè)和AI產業(yè)中實現快速落地，推動整個行業(yè)的進步。
2024年，AIGC依然是最熱技術話題，其迅猛的發(fā)展速度和廣闊的應用前景吸引了眾多關注和創(chuàng)新力量。憑借在數據存儲領域的持續(xù)創(chuàng)新和深耕，浪潮信息正站在這場技術革新的前沿。
