當前位置:全球供應網(wǎng) > 技術中心 > 所有分類
自20世紀70年代至今,我國的海洋環(huán)境監(jiān)測體系已基本形成,建成了國家(海區(qū))、?。ㄖ陛犑?、自治區(qū))、市、縣四級海洋環(huán)境監(jiān)測網(wǎng)絡,開展約8000多個監(jiān)測站位的現(xiàn)場監(jiān)測,在我國管轄的300萬km2海域開展岸基站、船舶、飛機、衛(wèi)星、浮標、雷達、智能終端等多種手段監(jiān)測工作,每年獲得各類監(jiān)測數(shù)據(jù)(結構化數(shù)據(jù))約200余萬條,此外還包括:遙感數(shù)據(jù)(僅國家海洋環(huán)境監(jiān)測中心近幾年遙感影像加工產(chǎn)品就接近70TB),其它業(yè)務化系統(tǒng)、實驗室、數(shù)值模型、檔案系統(tǒng)的長尾科學數(shù)據(jù),雖然每個數(shù)據(jù)集合在規(guī)模上并不大(一般不會超過1TB),但這種小數(shù)據(jù)集合數(shù)眾多且異構性強,它們匯聚后的規(guī)模和復雜性都不容小覷。海量的海洋環(huán)境監(jiān)測數(shù)據(jù)(以下簡稱:監(jiān)測數(shù)據(jù)),加上其多源性、多態(tài)性、多時相的特性,使監(jiān)測數(shù)據(jù)成為了大數(shù)據(jù)。
但是,海洋數(shù)據(jù)數(shù)據(jù)來源眾多、數(shù)據(jù)類型多、獲取難度大、獲取成本高以及歷史積淀量大等問題,造成目前海洋大數(shù)據(jù)管理分散且多以紙質資料形式存放的現(xiàn)象出現(xiàn),不利于數(shù)據(jù)檢索且復用率低,整合難度較大。而從海洋大數(shù)據(jù)平臺的角度來看,對數(shù)據(jù)的需求量和時效性要求也更高。
針對此類問題,海洋大數(shù)據(jù)平臺建設必須實現(xiàn)多設備、多類型、多格式數(shù)據(jù)等整合,實現(xiàn)資料元數(shù)據(jù)管理,空間數(shù)據(jù)模型統(tǒng)一,基準的統(tǒng)一;必須縮短后處理時長,提高自動化程度;實現(xiàn)各類觀測平臺各類觀察設備數(shù)據(jù)獲取的無縫接入;充分利用5G網(wǎng)絡、岸基自組網(wǎng)、海上平臺自組網(wǎng),提高數(shù)據(jù)接入的時效性。
但是想要真正解決海洋大數(shù)據(jù)所帶來的困惑,必須要三個方面入手。一是如何對不同部門的海量數(shù)據(jù)進行有效挖掘、分析和應用;二是解決“信息孤島”,建立數(shù)據(jù)資源共享機制,實現(xiàn)數(shù)據(jù)跨部門、跨系統(tǒng)使用;三是數(shù)據(jù)如何應用到海洋資源開發(fā)、海洋環(huán)境監(jiān)測等具體問題,為政府決策提供真正支持。因此,行業(yè)企業(yè)在發(fā)展過程中,能夠對數(shù)據(jù)和用戶需求了解充分將成為其他企業(yè)無法企及的競爭壁壘。
大數(shù)據(jù)時代的一個重要任務是監(jiān)測數(shù)據(jù)集成,其意義如下:
(1)從數(shù)據(jù)分析及管理角度來看,這些分散的結構化、半結構化、非結構化的監(jiān)測數(shù)據(jù),蘊藏著大量的信息和知識,但是,目前的海洋監(jiān)測系統(tǒng)集成一般只是系統(tǒng)的集成,針對數(shù)據(jù)集成的很少,即使有也只是用傳統(tǒng)的關系型數(shù)據(jù)為主導的集成方案,這種方式不能滿足多源異構數(shù)據(jù)集成和共享的需求,容易導致分析結果缺乏性、科學性,最終使管理者的決策缺乏可靠性。網(wǎng)格技術在實現(xiàn)更深層次、更大范圍的資源共享,以及消除數(shù)據(jù)孤島方面發(fā)揮了重要作用,但對組織成一體的資源如何共享使用上著力不多,在易用性上存在不足[1],云計算和大數(shù)據(jù)技術采用分布式計算模式,克服了網(wǎng)絡計算的缺陷,為海量多源異構數(shù)據(jù)收集、存儲、集成、共享、分析、決策提供了技術保障。
(2)從科研者的角度來看,大數(shù)據(jù)時代科研工作者已經(jīng)不再滿足利用單一的數(shù)據(jù)源和分析方法進行研究,而是希望整合來自不同渠道的數(shù)據(jù),從而得到一個更加全面與宏觀的認識,這意味著數(shù)據(jù)集成對科學研究至關重要的需求。
(3)從大數(shù)據(jù)的價值鏈—大數(shù)據(jù)的發(fā)現(xiàn)(采集、準備、組織)、集成(數(shù)據(jù)源管理、通用數(shù)據(jù)表示)、數(shù)據(jù)探索(數(shù)據(jù)分析、可視化、決策)[2]來看,大數(shù)據(jù)集成(BigDataIntegration,BDI)起著承上啟下的作用,具有非常重要的作用,是目前研究熱點之一。