北京2021年11月11日 /美通社/ -- 中汽創(chuàng)智科技有限公司由中國(guó)一汽、東風(fēng)公司、長(zhǎng)安汽車、南京江寧經(jīng)開(kāi)科技等企業(yè)共同出資160億元設(shè)立，落戶南京江寧經(jīng)濟(jì)技術(shù)開(kāi)發(fā)區(qū)。
中汽創(chuàng)智選擇浪潮分布式存儲(chǔ)AS13000G5系列的M和H節(jié)點(diǎn)，構(gòu)建了自動(dòng)駕駛訓(xùn)練模型，進(jìn)一步提升GPU集群自動(dòng)駕駛模型訓(xùn)練過(guò)程中的數(shù)據(jù)讀寫(xiě)速度，大大加快研發(fā)速度。
中汽創(chuàng)智科技有限公司的成立，是落實(shí)制造強(qiáng)國(guó)、科技強(qiáng)國(guó)、汽車強(qiáng)國(guó)等國(guó)家戰(zhàn)略的重要舉措。央企新能源汽車整車領(lǐng)域的產(chǎn)業(yè)投資、技術(shù)研發(fā)將集中在中汽創(chuàng)智，有利于推動(dòng)產(chǎn)業(yè)資源整合和開(kāi)放合作，加快在制約當(dāng)前產(chǎn)業(yè)發(fā)展的“卡脖子”技術(shù)和下一代關(guān)鍵核心技術(shù)領(lǐng)域的集中攻關(guān)和突破。中汽創(chuàng)智聚焦智能底盤(pán)、氫燃料動(dòng)力、智能網(wǎng)聯(lián)三大業(yè)務(wù)領(lǐng)域，致力于成為汽車行業(yè)技術(shù)創(chuàng)新的引領(lǐng)者、產(chǎn)業(yè)孵化的踐行者、數(shù)據(jù)服務(wù)的驅(qū)動(dòng)者。
部署自動(dòng)駕駛訓(xùn)練平臺(tái)，推進(jìn)自動(dòng)駕駛技術(shù)發(fā)展
中汽創(chuàng)智計(jì)劃建設(shè)一套自動(dòng)駕駛模型訓(xùn)練平臺(tái)。借助平臺(tái)的運(yùn)算能力和存儲(chǔ)能力，為自動(dòng)駕駛、人工智能等領(lǐng)域相關(guān)技術(shù)的研發(fā)，提供IT資源支撐。
模型訓(xùn)練需要頻繁在存儲(chǔ)設(shè)備中讀寫(xiě)數(shù)據(jù)，對(duì)存儲(chǔ)系統(tǒng)性能要求較高，原始模型開(kāi)發(fā)的過(guò)程中需要調(diào)用TB級(jí)的圖片數(shù)據(jù)集，且模型在開(kāi)發(fā)的過(guò)程中也會(huì)產(chǎn)生很多中間數(shù)據(jù)需要存儲(chǔ)。
除了數(shù)據(jù)讀寫(xiě)和大量圖片的處理，中汽創(chuàng)智自動(dòng)駕駛訓(xùn)練模型的搭建還給數(shù)據(jù)傳輸帶來(lái)挑戰(zhàn)，傳統(tǒng)存儲(chǔ)在面對(duì)數(shù)據(jù)短時(shí)間內(nèi)增長(zhǎng)迅速，傳統(tǒng)硬盤(pán)效率低，無(wú)法發(fā)揮數(shù)據(jù)的及時(shí)性和準(zhǔn)確性。
浪潮AS13000-H，如何HOLD住海量數(shù)據(jù)？
浪潮為中汽創(chuàng)智提供了高性能AS13000G5-H型號(hào)和13000G5-M存儲(chǔ)組合方案。提供了不低于50GB/s的聚合帶寬和PB級(jí)存儲(chǔ)空間，滿足了自動(dòng)駕駛訓(xùn)練模型對(duì)大量圖片處理和數(shù)據(jù)頻繁讀寫(xiě)的需求。助力中汽創(chuàng)智自動(dòng)駕駛訓(xùn)練模型平臺(tái)的建設(shè)。
浪潮AS13000-H分布式文件存儲(chǔ)系統(tǒng)采用元數(shù)據(jù)節(jié)點(diǎn)與數(shù)據(jù)節(jié)點(diǎn)分離的網(wǎng)絡(luò)架構(gòu)，元數(shù)據(jù)與數(shù)據(jù)的讀寫(xiě)互不影響。同時(shí)，AS13000-H的軟件系統(tǒng)面向小文件進(jìn)行了專門(mén)的調(diào)優(yōu)和設(shè)計(jì)，使得AS13000-H更加適合圖片數(shù)據(jù)集訓(xùn)練這種小文件頻繁讀寫(xiě)的場(chǎng)景。從而進(jìn)一步提升GPU集群自動(dòng)駕駛模型訓(xùn)練過(guò)程中的數(shù)據(jù)讀寫(xiě)速度，推薦配置2個(gè)元數(shù)據(jù)節(jié)點(diǎn)和2個(gè)數(shù)據(jù)節(jié)點(diǎn)。元數(shù)據(jù)節(jié)點(diǎn)之間，數(shù)據(jù)節(jié)點(diǎn)之間開(kāi)啟鏡像模式，實(shí)現(xiàn)元數(shù)據(jù)和數(shù)據(jù)的兩副本存儲(chǔ)，通過(guò)雙副本機(jī)制，保障中汽創(chuàng)智自動(dòng)駕駛模型訓(xùn)練過(guò)程中數(shù)據(jù)的安全。每臺(tái)元數(shù)據(jù)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)均配有2套網(wǎng)絡(luò)。一套為10Gb萬(wàn)兆以太網(wǎng)絡(luò)，接入業(yè)務(wù)交換機(jī)，實(shí)現(xiàn)研發(fā)人員和管理人員對(duì)于存儲(chǔ)設(shè)備的前端接入和訪問(wèn)。另外一套為100Gb EDR Infiniband網(wǎng)絡(luò)，接入集群內(nèi)部用于數(shù)據(jù)交換的IB交換機(jī)，實(shí)現(xiàn)模型訓(xùn)練過(guò)程中計(jì)算節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)之間的數(shù)據(jù)讀寫(xiě)，最大化保障數(shù)據(jù)傳輸效率。
考慮到用于模型訓(xùn)練的圖片數(shù)據(jù)集及部分中間結(jié)果需要在開(kāi)發(fā)機(jī)之間共享，因此，存儲(chǔ)設(shè)備應(yīng)具備共享網(wǎng)盤(pán)功能，以便不同開(kāi)發(fā)機(jī)之間對(duì)同一份訓(xùn)練數(shù)據(jù)集進(jìn)行讀寫(xiě)，并對(duì)中間結(jié)果進(jìn)行共享。浪潮存儲(chǔ)采用3臺(tái)4U36盤(pán)位存儲(chǔ)服務(wù)器構(gòu)成分布式存儲(chǔ)系統(tǒng)的硬件平臺(tái)；軟件層面，使用經(jīng)過(guò)浪潮商業(yè)化開(kāi)發(fā)的Ceph文件系統(tǒng)。通過(guò)軟件定義存儲(chǔ)技術(shù)，將3臺(tái)存儲(chǔ)服務(wù)器定義為一臺(tái)分布式存儲(chǔ)系統(tǒng)。該系統(tǒng)可以同時(shí)支持文件、對(duì)象、塊三種存儲(chǔ)類型，本項(xiàng)目中使用文件存儲(chǔ)格式進(jìn)行開(kāi)發(fā)及存儲(chǔ)環(huán)境搭建，幫助用戶實(shí)現(xiàn)對(duì)存儲(chǔ)資源的最大化利用，有效降低存儲(chǔ)開(kāi)銷，實(shí)現(xiàn)高效數(shù)據(jù)存取和維護(hù)，確保數(shù)據(jù)安全可靠。
目前，中汽創(chuàng)智自動(dòng)駕駛訓(xùn)練模型平臺(tái)已經(jīng)全面投入使用，在智能座艙、仿真與測(cè)試、自動(dòng)駕駛等多個(gè)業(yè)務(wù)中開(kāi)展大數(shù)據(jù)分析和高性能訓(xùn)練，與中汽創(chuàng)智的云平臺(tái)進(jìn)行對(duì)接，形成統(tǒng)一的數(shù)據(jù)中心級(jí)別的大平臺(tái)。
