當(dāng)前，信息技術(shù)的創(chuàng)新正在改變著我們熟悉的生活和工作方式。在大數(shù)據(jù)時(shí)代，與氣象事業(yè)發(fā)展密切相關(guān)的氣象數(shù)據(jù)再次成為焦點(diǎn)。氣象的大數(shù)據(jù)時(shí)代真的到來(lái)了嗎？近日，記者就上述問(wèn)題采訪了國(guó)家氣象信息中心副總工程師沈文海、中國(guó)科學(xué)院自動(dòng)化研究所研究員張文生。
大數(shù)據(jù)到底有多“大”？
IBM研究表明，在整個(gè)人類文明所獲得的全部數(shù)據(jù)中，有90%是過(guò)去兩年內(nèi)產(chǎn)生的。而到了2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。
根據(jù)國(guó)際數(shù)據(jù)公司IDC監(jiān)測(cè)，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級(jí)增長(zhǎng)，大約每?jī)赡攴环?/p>
數(shù)據(jù)量暴增的速度令人瞠目結(jié)舌，我們已進(jìn)入“大數(shù)據(jù)時(shí)代”。張文生說(shuō)：“事實(shí)上，智能終端的大量應(yīng)用，如聊微信、刷微博、手機(jī)支付，讓越來(lái)越多的用戶貢獻(xiàn)了越來(lái)越多的數(shù)據(jù)。”
記者了解到，就數(shù)據(jù)量而言，中國(guó)的大數(shù)據(jù)主要有以下幾類：互聯(lián)網(wǎng)，大約有2EB的數(shù)據(jù)。電信、金融、保險(xiǎn)、電力、石化系統(tǒng)每個(gè)系統(tǒng)大致都擁有10PB以上的數(shù)據(jù)；在公共安全、醫(yī)療、交通、電子政務(wù)領(lǐng)域，一個(gè)中等規(guī)模城市每年大約產(chǎn)生300PB。在商業(yè)銷售、制造業(yè)、農(nóng)業(yè)、物流和流通等領(lǐng)域，數(shù)據(jù)量尚處于積累期，體量不大，多的達(dá)到PB級(jí)別，基本約在數(shù)十TB到近百TB級(jí)別。
對(duì)于氣象數(shù)據(jù)來(lái)說(shuō)，“氣象部門(mén)需要永久保存的數(shù)據(jù)目前約有4PB～5PB，年增量約1PB。”沈文海介紹，相對(duì)而言，氣象數(shù)據(jù)較上述數(shù)據(jù)大戶至少低3個(gè)數(shù)量級(jí)。
氣象數(shù)據(jù)是大數(shù)據(jù)嗎?
“大數(shù)據(jù)就是全體數(shù)據(jù)，是混雜數(shù)據(jù)，不必追究數(shù)據(jù)的來(lái)源。”張文生介紹。
目前，對(duì)大數(shù)據(jù)的特征，科學(xué)界已達(dá)成了共識(shí)，就是大體積、多樣性、高速度和價(jià)值大。“體積巨大是大數(shù)據(jù)的最根本的特征。一般而言，大數(shù)據(jù)的起始計(jì)量單位至少是PB、EB或ZB級(jí)別。”沈文海介紹。類型和來(lái)源的渠道繁多是大數(shù)據(jù)的第二個(gè)特征。此外，生成速度快、處理時(shí)效高、價(jià)值巨大也是大數(shù)據(jù)的特征。
“在體積上，氣象數(shù)據(jù)剛剛達(dá)到大數(shù)據(jù)的準(zhǔn)入門(mén)檻。”沈文海分析道：目前，在所有氣象資料中，地面觀測(cè)、氣象衛(wèi)星遙感、天氣雷達(dá)和數(shù)值預(yù)報(bào)產(chǎn)品四類數(shù)據(jù)占數(shù)據(jù)總量的90%以上，堪稱“四大金剛”。
氣象數(shù)據(jù)來(lái)源種類繁多，僅氣候工作特用資料就包括冰芯、花粉、樹(shù)木年輪、洋流鹽度、地表植被等觀測(cè)資料，已達(dá)數(shù)十種。沈文海說(shuō)：“這些數(shù)據(jù)雖然種類多，但都是只用于氣象領(lǐng)域的科學(xué)數(shù)據(jù)，來(lái)源較為單一。”
眾所周知，基本的氣象數(shù)據(jù)直接用途是氣象業(yè)務(wù)、天氣預(yù)報(bào)、氣候預(yù)測(cè)以及氣象服務(wù)。“大數(shù)據(jù)應(yīng)用”與目前的氣象服務(wù)有所不同，前者是氣象數(shù)據(jù)的“深度應(yīng)用”和“增值應(yīng)用”，后者是既定業(yè)務(wù)數(shù)據(jù)加工產(chǎn)品的社會(huì)推廣應(yīng)用。
“不宜將氣象預(yù)報(bào)產(chǎn)品的社會(huì)化推廣應(yīng)用簡(jiǎn)單地冠以‘氣象大數(shù)據(jù)廣泛應(yīng)用’的名稱，因?yàn)楫a(chǎn)品應(yīng)用與氣象數(shù)據(jù)的‘大小’無(wú)關(guān)，如此冠名將易導(dǎo)致概念的混亂和氣象‘大數(shù)據(jù)’的簡(jiǎn)單化。”沈文海表示。
氣象數(shù)據(jù)要如何發(fā)展？
大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)，氣象數(shù)據(jù)如何發(fā)展是氣象工作者關(guān)注的重點(diǎn)。“目前，社會(huì)上的‘大數(shù)據(jù)應(yīng)用’大多局限在數(shù)據(jù)基本價(jià)值的深度應(yīng)用挖掘方面。”張文生說(shuō)。除了大家知道的天氣預(yù)報(bào)等，現(xiàn)在，氣象行業(yè)的公共服務(wù)職能越來(lái)越強(qiáng)，面向政府提供決策服務(wù)，面向公眾提供氣象預(yù)報(bào)預(yù)警服務(wù)，面向社會(huì)發(fā)展，應(yīng)對(duì)氣候發(fā)展節(jié)能減排。這些決策信息怎么來(lái)依賴于我們對(duì)氣象數(shù)據(jù)的處理。
采用統(tǒng)計(jì)分析方法對(duì)海量數(shù)據(jù)進(jìn)行分析處理，發(fā)現(xiàn)其中某些特定要素之間的關(guān)系，這是到目前為止，所有“大數(shù)據(jù)應(yīng)用”成功案例的共同特征，即便“大機(jī)器學(xué)習(xí)”等目前備受推崇的大數(shù)據(jù)時(shí)代新事物也無(wú)例外。“大數(shù)據(jù)的核心就是預(yù)測(cè)”，這是《大數(shù)據(jù)時(shí)代》的作者舍恩伯格的名言。“如果這一斷言是準(zhǔn)確的話，那么氣象數(shù)據(jù)的‘大數(shù)據(jù)應(yīng)用’時(shí)代也許還沒(méi)有到來(lái)。”沈文海分析道。
天氣和氣候系統(tǒng)是典型的非線性系統(tǒng)，無(wú)法通過(guò)運(yùn)用簡(jiǎn)單的統(tǒng)計(jì)分析方法來(lái)對(duì)其進(jìn)行準(zhǔn)確的預(yù)報(bào)和預(yù)測(cè)。人們常說(shuō)的南美叢林里一只蝴蝶扇動(dòng)幾下翅膀，會(huì)在幾周后引發(fā)北美的一場(chǎng)暴風(fēng)雪這一現(xiàn)象，形象地描繪了氣象科學(xué)的復(fù)雜性。運(yùn)用統(tǒng)計(jì)分析方法進(jìn)行天氣預(yù)報(bào)在數(shù)十年前便已被氣象科學(xué)界否決了——也就是說(shuō)，目前經(jīng)典的大數(shù)據(jù)應(yīng)用方法并不適用于天氣預(yù)報(bào)業(yè)務(wù)。“既然預(yù)測(cè)是大數(shù)據(jù)的核心，那么對(duì)于天氣預(yù)報(bào)這一氣象領(lǐng)域核心‘預(yù)測(cè)’業(yè)務(wù)而言，其‘大數(shù)據(jù)應(yīng)用’除了統(tǒng)計(jì)分析方法外，還有什么別的方法嗎？”沈文海說(shuō)道。
氣象數(shù)據(jù)是整個(gè)氣象行業(yè)的基礎(chǔ)資源，它的價(jià)值在氣象行業(yè)內(nèi)部已經(jīng)和正在被深入挖掘著。對(duì)于全社會(huì)而言，氣象數(shù)據(jù)也是極其珍貴的信息資源。我們期待著氣象數(shù)據(jù)在跨行業(yè)綜合應(yīng)用這一“增值應(yīng)用”價(jià)值挖掘過(guò)程中煥發(fā)出的新的光芒。
面對(duì)社會(huì)上沸沸揚(yáng)揚(yáng)的大數(shù)據(jù)風(fēng)潮，觀察一下國(guó)外氣象同行們的反應(yīng)不無(wú)裨益——尤其是身處大數(shù)據(jù)風(fēng)潮發(fā)源地的美國(guó)氣象同行。當(dāng)你了解到這些國(guó)外（尤其是發(fā)達(dá)國(guó)家）氣象同行對(duì)于大數(shù)據(jù)風(fēng)潮近乎一致的冷漠反應(yīng)時(shí)，你的頭腦也許會(huì)冷靜下來(lái)，并產(chǎn)生如下疑問(wèn)——氣象大數(shù)據(jù)時(shí)代真的到來(lái)了嗎？
京公網(wǎng)安備 11010502049343號(hào)