北京2019年8月19日 /美通社/ -- 在科學(xué)技術(shù)不斷發(fā)展的今天，人們通過對地觀測、地表傳感器網(wǎng)絡(luò)、遙感技術(shù)等手段，獲取了海量的地球科學(xué)數(shù)據(jù)集，這些數(shù)據(jù)統(tǒng)稱為地球大數(shù)據(jù)。
2015年，聯(lián)合國發(fā)布了可持續(xù)發(fā)展目標議程，以期面向2030年解決貧困、不平等和全球變化等的挑戰(zhàn)。這議程的眾多目標中，地球大數(shù)據(jù)至少可以為實現(xiàn)其中八個提供不同形式的支持，特別是純凈的水源、低廉的能源、可持續(xù)發(fā)展的城市、全球變化、水下生命、陸上生命、健康和平等發(fā)展目標。
2017年中科院成立了為期五年的“地球大數(shù)據(jù)科學(xué)工程”先導(dǎo)專項，其中大數(shù)據(jù)云服務(wù)平臺是“地球大數(shù)據(jù)科學(xué)工程”先導(dǎo)專項的重要建設(shè)任務(wù)之一，屬于綜合型基礎(chǔ)設(shè)施項目。
構(gòu)建“大數(shù)據(jù)云服務(wù)平臺”的關(guān)鍵在于兩個層面，一是對中科院積累的海量基礎(chǔ)物理數(shù)據(jù)及其相互關(guān)系的建模；二是將對數(shù)據(jù)使用邏輯實現(xiàn)“服務(wù)化”，以支撐各單位實現(xiàn)數(shù)據(jù)共享和個性化應(yīng)用孵化。
如何助力“地球大數(shù)據(jù)科學(xué)工程”構(gòu)建包含資源、環(huán)境、生物、生態(tài)等多個領(lǐng)域的大數(shù)據(jù)云服務(wù)平臺，將海量“地球大數(shù)據(jù)”掌握在手中并實現(xiàn)云化？中科院和中科曙光通過“院企合作”的方式，將中科院的科研成果注入曙光 Cloudview 云計算操作系統(tǒng)產(chǎn)品中，實現(xiàn)科研成果的工程化。
依托專家力量，將其對海量數(shù)據(jù)的獨特使用邏輯框架化，并形成對底層資源支撐要求的量化，曙光以此作為輸入，在原有 Cloudview 云計算操作系統(tǒng)的基礎(chǔ)上，擴充資源調(diào)度功能并優(yōu)化，為地球大數(shù)據(jù)科學(xué)工程提供 IaaS 層資源支撐及資源管理與調(diào)度，通過靈活的調(diào)度、簡便的運維，讓“大”數(shù)據(jù)輕松一手掌握，推動并實現(xiàn)地球大數(shù)據(jù)技術(shù)創(chuàng)新、重大科學(xué)發(fā)現(xiàn)和一站式全方位宏觀決策支持。
建設(shè)國際領(lǐng)先的大數(shù)據(jù)云服務(wù)平臺，需不斷提高對資源層高標準的使用要求，如彈性、高性能的計算資源、海量的數(shù)據(jù)存儲、高并發(fā)的數(shù)據(jù)訪問、簡便的集群運維管理等。針對“地球大數(shù)據(jù)科學(xué)工程”的大數(shù)據(jù)云系統(tǒng)建設(shè)所形成的曙光云計算 Cloudview 操作系統(tǒng)的優(yōu)勢主要體現(xiàn)為三個方面：
第一，體現(xiàn)在大規(guī)模彈性及異構(gòu)計算，達到更高的計算能力。
基于數(shù)百臺計算節(jié)點的調(diào)度提供計算資源的彈性擴展，滿足大氣、海洋領(lǐng)域科學(xué)應(yīng)用對計算資源不斷變化的需求，不會產(chǎn)生計算資源瓶頸，不同業(yè)務(wù)系統(tǒng)之間均衡使用，使資源得到充分、合理的使用。利用 GPU 透傳、PCI 設(shè)備透傳能力，CPU 獨占特性，為業(yè)務(wù)應(yīng)用提供資源獨占能力，避免資源的爭搶、達到更高性能的計算能力，支撐基于 Hadoop 大數(shù)據(jù)系統(tǒng)及 Spark 等流式數(shù)據(jù)處理，幫助用戶實現(xiàn)一鍵構(gòu)建大數(shù)據(jù)處理環(huán)境功能。
第二，支持高并發(fā)海量存儲、提供更優(yōu)的數(shù)據(jù)治理能力。
中科曙光 Cloudview 云計算操作系統(tǒng)提供海量的存儲管理，提供統(tǒng)一的存儲管理與調(diào)度?？赏瑫r對接幾十PB級文件存儲系統(tǒng)和對象存儲系統(tǒng)，“文件存儲系統(tǒng)”主要用于存儲來自全國不同科研組織提交的科研數(shù)據(jù)，提供數(shù)據(jù)遠程匯交的人機接口和功能，同時提供空間配額、訪問權(quán)限控制、數(shù)據(jù)隔離等功能。“對象存儲系統(tǒng)”主要用于將匯交的、有價值的科研數(shù)據(jù)以對象格式存儲，便于后期的數(shù)據(jù)處理和發(fā)布共享。數(shù)據(jù)網(wǎng)絡(luò)采用10Gb/40Gb網(wǎng)絡(luò)，10Gb網(wǎng)絡(luò)用于虛擬機鏡像在鏡像存儲與計算資源池之間的傳輸，“數(shù)據(jù)內(nèi)網(wǎng)”采用40Gb高速網(wǎng)絡(luò)，用于科研數(shù)據(jù)在超級計算系統(tǒng)、大數(shù)據(jù)云系統(tǒng)、數(shù)據(jù)存儲系統(tǒng)之間的相互流轉(zhuǎn)。
第三，體現(xiàn)在簡單的運維，實現(xiàn)自動化交付。
整個系統(tǒng)的易用性，體現(xiàn)在上層應(yīng)用的使用時候的便利性，專家建議對各使用單位的系統(tǒng)使用習(xí)慣做認真分類，并提出“強資源編排”的應(yīng)用模塊化構(gòu)建理念。曙光 Cloudview 云計算操作系統(tǒng)提供資源編排服務(wù)，可以實現(xiàn)從基礎(chǔ)架構(gòu)到應(yīng)用的端到端的自動化交付工作。資源編排服務(wù)采用完全圖形化 UI 操作，用戶可以通過簡單的圖表拖拽進行可視化編排。資源編排實現(xiàn)了資源及其拓撲關(guān)系的自動執(zhí)行，不僅獨立資源可按配置實現(xiàn)自動化部署，各資源間的拓撲關(guān)系也將自動執(zhí)行，幫助運維管理人員省去大量機械重復(fù)的手動配置操作。
通過與客戶緊密合作，中科曙光 Cloudview 云計算操作系統(tǒng)為“地球大數(shù)據(jù)科學(xué)工程”提供了高可靠、高性能、高彈性、易運維的 IaaS 平臺，切實提高了客戶在基礎(chǔ)架構(gòu)和應(yīng)用程序構(gòu)建效率，為系統(tǒng)正常運行及業(yè)務(wù)創(chuàng)新保駕護航。讓海量復(fù)雜的地球大數(shù)據(jù)，輕松靈活地掌握在手中。
