2014年12月12-14日,由中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)主辦,CCF大數(shù)據(jù)專家委員會(huì)承辦,中科院計(jì)算所與CSDN共同協(xié)辦,以推進(jìn)大數(shù)據(jù)科研、應(yīng)用與產(chǎn)業(yè)發(fā)展為主旨的2014中國(guó)大數(shù)據(jù)技術(shù)大會(huì)(Big Data Technology Conference 2014,BDTC 2014)暨第二屆CCF大數(shù)據(jù)學(xué)術(shù)會(huì)議在北京新云南皇冠假日酒店盛大開幕。
中科院計(jì)算所研究員,CCF大數(shù)據(jù)專家委員會(huì)秘書長(zhǎng)程學(xué)旗發(fā)表了大數(shù)據(jù)白皮書與發(fā)展趨勢(shì)報(bào)告?!吨袊?guó)大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書(2014年)》主要介紹了大數(shù)據(jù)的背景與動(dòng)態(tài),大數(shù)據(jù)典型應(yīng)用,大數(shù)據(jù)技術(shù)進(jìn)展,大數(shù)據(jù)IT產(chǎn)業(yè)鏈與生態(tài)環(huán)境,以及大數(shù)據(jù)發(fā)展趨勢(shì)與建議等內(nèi)容。同時(shí)對(duì)于2015年大數(shù)據(jù)發(fā)展趨勢(shì)預(yù)測(cè),程學(xué)旗總結(jié)為這幾個(gè)詞:融合、跨界、基礎(chǔ)、突破。
中科院計(jì)算所研究員,CCF大數(shù)據(jù)專家委員會(huì)秘書長(zhǎng)程學(xué)旗
以下為演講實(shí)錄:
在中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專家委員會(huì)和中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟得精心組織下,花了大半年時(shí)間撰寫了這本《中國(guó)大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書(2014年)》。介紹了大數(shù)據(jù)的背景與動(dòng)態(tài),大數(shù)據(jù)典型應(yīng)用,大數(shù)據(jù)技術(shù)進(jìn)展,大數(shù)據(jù)IT產(chǎn)業(yè)鏈與生態(tài)環(huán)境,以及大數(shù)據(jù)發(fā)展趨勢(shì)與建議等內(nèi)容。
白皮書旨在為業(yè)界梳理大數(shù)據(jù)應(yīng)用現(xiàn)狀及發(fā)展趨勢(shì),為政府制定推動(dòng)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的政策提供建議;探討大數(shù)據(jù)研究面臨的科學(xué)問題和技術(shù)挑戰(zhàn),為科研機(jī)構(gòu)和科研人員提供參考指南。重點(diǎn)介紹了大數(shù)據(jù)在產(chǎn)業(yè)應(yīng)用、技術(shù)研發(fā)、學(xué)科發(fā)展等方面的進(jìn)展。
來自20多家單位60多名專家直接撰稿,集中了130多名專家委員和產(chǎn)業(yè)聯(lián)盟會(huì)員的知識(shí)和智慧,在一定程度上反映了我國(guó)大數(shù)據(jù)學(xué)術(shù)界和產(chǎn)業(yè)界的共識(shí)。
對(duì)于2015年大數(shù)據(jù)發(fā)展趨勢(shì)預(yù)測(cè),程學(xué)旗總結(jié)為這幾個(gè)詞:融合、跨界、基礎(chǔ)、突破。
融合是說在產(chǎn)業(yè)里面剛才Doug Cutting老師講到比如說在垂直行業(yè)的融合,在企業(yè)里面垂直融合,在應(yīng)用融合,在技術(shù)融合等等??缃?,基于大數(shù)據(jù)使不同學(xué)科不同應(yīng)用領(lǐng)域跨界?;A(chǔ),就是說我們大數(shù)據(jù)發(fā)展亟待在一些基礎(chǔ)方面進(jìn)一步的夯實(shí),2014年比2013年基礎(chǔ)更強(qiáng),我們期待2015年基礎(chǔ)進(jìn)一步的夯實(shí),包括生態(tài)環(huán)境,包括大數(shù)據(jù)資源的共享。突破,我們會(huì)在預(yù)測(cè)在2015年在一些大數(shù)據(jù)的分析,大數(shù)據(jù)的一些系統(tǒng)方面能夠取得相關(guān)性的突破。這個(gè)趨勢(shì)的報(bào)告來源于137位我們大數(shù)據(jù)專家委的委員和50位中關(guān)村產(chǎn)業(yè)聯(lián)盟的會(huì)員,我們給出50個(gè)選項(xiàng),每個(gè)專家委員給投票,同時(shí)給一些標(biāo)注,最后我們?cè)谶@個(gè)基礎(chǔ)上給出了一個(gè)統(tǒng)計(jì),最后結(jié)果是2015年度大數(shù)據(jù)發(fā)展的十大預(yù)測(cè)。
一、結(jié)合智能計(jì)算的大數(shù)據(jù)分析成為熱點(diǎn),包括大數(shù)據(jù)與神經(jīng)計(jì)算、深度學(xué)習(xí)、語義計(jì)算以及人工智能其他相關(guān)技術(shù)結(jié)合,成為大數(shù)據(jù)分析領(lǐng)域的熱點(diǎn)。大數(shù)據(jù)分析的核心是從數(shù)據(jù)中獲取價(jià)值,價(jià)值體現(xiàn)在從大數(shù)據(jù)中獲取更準(zhǔn)確、更深層次的知識(shí),而非對(duì)數(shù)據(jù)的簡(jiǎn)單統(tǒng)計(jì)分析。要達(dá)到這一目標(biāo),需要提升對(duì)數(shù)據(jù)的認(rèn)知計(jì)算能力,讓計(jì)算系統(tǒng)具備對(duì)數(shù)據(jù)的理解、推理、發(fā)現(xiàn)和決策能力,其背后的核心技術(shù)就是人工智能。近些年,人工智能的研究和應(yīng)用又掀起新高潮,這一方面得益于計(jì)算機(jī)硬件性能的突破,另一方面則依靠以云計(jì)算、大數(shù)據(jù)為代表的計(jì)算技術(shù)的快速發(fā)展,使得信息處理速度和質(zhì)量大為提高,能夠快速、并行處理海量數(shù)據(jù)。
二、數(shù)據(jù)科學(xué)帶動(dòng)多學(xué)科融合,但是數(shù)據(jù)科學(xué)作為新興的學(xué)科,其學(xué)科基礎(chǔ)問題體系尚不明朗,數(shù)據(jù)科學(xué)自身的發(fā)展尚未成體系。在大數(shù)據(jù)時(shí)代,許多學(xué)科表面上看來研究的方向大不相同,但是從數(shù)據(jù)的視角來看,其實(shí)是相通的。隨著社會(huì)的數(shù)字化程度逐步加深,越來越來多的學(xué)科在數(shù)據(jù)層面趨于一致??梢圆捎孟嗨频乃枷雭磉M(jìn)行的統(tǒng)一的研究。數(shù)據(jù)科學(xué)作為一個(gè)與大數(shù)據(jù)相關(guān)的新興學(xué)科出現(xiàn),真正支撐大數(shù)據(jù)發(fā)展的學(xué)科跨越還沒有出現(xiàn)。針對(duì)大數(shù)據(jù)處理的理論研究上,新型的概率和統(tǒng)計(jì)模型將是主要的研究工具,學(xué)科基礎(chǔ)理論的突破還難于在2015年出現(xiàn)。
三、跨學(xué)科領(lǐng)域交叉的數(shù)據(jù)融合分析與應(yīng)用將成為今后大數(shù)據(jù)分析應(yīng)用發(fā)展的重大趨勢(shì)。大數(shù)據(jù)技術(shù)發(fā)展的目標(biāo)是應(yīng)用落地,因此大數(shù)據(jù)研究不能僅僅局限于計(jì)算技術(shù)本身。由于現(xiàn)有的大數(shù)據(jù)平臺(tái)易用性差,而垂直應(yīng)用行業(yè)的數(shù)據(jù)分析又涉及到領(lǐng)域?qū)<抑R(shí)和領(lǐng)域建模,目前在大數(shù)據(jù)行業(yè)分析應(yīng)用與通用的大數(shù)據(jù)技術(shù)之間存在很大的鴻溝,缺少相互的交叉融合。因此,迫切需要進(jìn)行跨學(xué)科和跨領(lǐng)域的大數(shù)據(jù)技術(shù)和應(yīng)用研究,促進(jìn)和推動(dòng)大數(shù)據(jù)在典型和重大行業(yè)中的應(yīng)用和落地。
四、大數(shù)據(jù)將與物聯(lián)網(wǎng)、移動(dòng)互聯(lián)、云計(jì)算、社會(huì)計(jì)算、等熱點(diǎn)技術(shù)領(lǐng)域相互交叉融合,產(chǎn)生很多綜合性應(yīng)用。近年來計(jì)算機(jī)和信息技術(shù)發(fā)展的趨勢(shì)是,前端更前伸,后端更強(qiáng)大。物聯(lián)網(wǎng)與移動(dòng)計(jì)算加強(qiáng)了與物理世界和人的融合,大數(shù)據(jù)和云計(jì)算加強(qiáng)了后端的數(shù)據(jù)存儲(chǔ)管理和計(jì)算能力。今后,這幾個(gè)熱點(diǎn)技術(shù)領(lǐng)域?qū)⑾嗷ソ徊嫒诤?,產(chǎn)生很多綜合性應(yīng)用。
五、大數(shù)據(jù)多樣化處理模式與軟硬件基礎(chǔ)設(shè)施逐步夯實(shí)。內(nèi)存計(jì)算將繼續(xù)成為提高大數(shù)據(jù)處理性能的主要手段。以Spark為代表的內(nèi)存計(jì)算逐步走向商用,并與Hadoop融合共存,專為大數(shù)據(jù)處理優(yōu)化的系統(tǒng)和硬件出現(xiàn),大數(shù)據(jù)處理多樣化模式并存融合,一體化融合的大數(shù)據(jù)處理平臺(tái)逐漸成為趨勢(shì)。其中有一個(gè)觀點(diǎn)這種多元化一定程度上成為一體化,未來大數(shù)據(jù)多樣化處理模式并存并且有可能成為一體化的平臺(tái)。
六、大數(shù)據(jù)安全和隱私,這是我們第三年關(guān)于大數(shù)據(jù)熱點(diǎn)問題趨勢(shì)的預(yù)測(cè),每一年這都是非??壳瓣P(guān)于大數(shù)據(jù)安全和隱私問題,這個(gè)反映我們專家我們用戶一種期盼一種理解一種關(guān)注度,但是我們?cè)诖髷?shù)據(jù)的安全和隱私保護(hù)方面,以及大數(shù)據(jù)涉及到資源國(guó)家主權(quán)這層面,實(shí)際上技術(shù)層面沒有比較多的,這兩年多以來沒有比較長(zhǎng)足的進(jìn)步,這方面有一定的問題的,所以說大數(shù)據(jù)的安全持續(xù)令人擔(dān)憂。
七、新的計(jì)算模式講取得突破,去年前年我們?cè)趪?guó)內(nèi)大量的去講深度學(xué)習(xí),今天我們發(fā)現(xiàn)一個(gè)很有意思的現(xiàn)象,在一些特定的領(lǐng)域發(fā)揮了作用,但是我們專家和工業(yè)界的人士更關(guān)注眾包技術(shù),也就是說可能未來不光是大數(shù)據(jù)講深度學(xué)習(xí)。
八、各種可視化技術(shù)和工具提升大數(shù)據(jù)分析。進(jìn)行分析之前,需要對(duì)數(shù)據(jù)進(jìn)行探索式地考察。在此過程中,可視化將發(fā)揮很大的作用。對(duì)大數(shù)據(jù)進(jìn)行分析以后,為了方便用戶理解結(jié)果,也需要把結(jié)果展示出來。
九、大數(shù)據(jù)技術(shù)課程體系建設(shè)和人才培養(yǎng)是需要高度關(guān)注的問題。
十、開源系統(tǒng)將成為大數(shù)據(jù)領(lǐng)域的主流技術(shù)和系統(tǒng)選擇。
2015年基本體現(xiàn)一個(gè)方面在學(xué)科、技術(shù)、系統(tǒng)、應(yīng)用上面融合,以及在不同學(xué)科不同行業(yè)跨界,前面五個(gè)問題涉及相關(guān)的現(xiàn)象。第二個(gè)我們呼喚在大數(shù)據(jù)技術(shù)基礎(chǔ)的夯實(shí)以及技術(shù)的突破,這個(gè)基礎(chǔ)包括開源,以及開源軟件的選擇,當(dāng)然還有其他一些單向的調(diào)研,比如說相關(guān)的應(yīng)用。其中很有意思的一個(gè)調(diào)研,我們專家委認(rèn)為2015年對(duì)應(yīng)用產(chǎn)生重要的數(shù)據(jù)類型有哪些?我們大家都想到社會(huì)媒體數(shù)據(jù)、互聯(lián)網(wǎng)日志、電商數(shù)據(jù),很多人把視頻、語音、圖形圖象、設(shè)備監(jiān)測(cè)數(shù)據(jù),我們穿戴式物聯(lián)網(wǎng)各種各樣的數(shù)據(jù),它的價(jià)值被我們所期待產(chǎn)生跨越界的價(jià)值,這是我們今年大數(shù)據(jù)專家委員會(huì)調(diào)研的時(shí)候一個(gè)新特點(diǎn)。我們每年引用這個(gè)曲線,說大數(shù)據(jù)技術(shù)怎么樣了,我們自己委員怎么認(rèn)為的?這個(gè)里面來看,這是我們投票結(jié)果,從我們投票結(jié)果我們看到有四個(gè)峰,其中最高的峰就是即將快速增長(zhǎng),第一個(gè)大數(shù)據(jù)在國(guó)內(nèi)還是初級(jí),馬上成為快速增長(zhǎng)爆炸的前沿,還有一部分領(lǐng)域技術(shù)處在剛剛炒作的階段,可能這個(gè)峰值比現(xiàn)在更熱,這是我們委員投票的結(jié)果。
最后這個(gè)現(xiàn)象是說我們國(guó)家大數(shù)據(jù)的發(fā)展主要推動(dòng)力,這是我們委員投票結(jié)果,這個(gè)結(jié)果不是那么樂觀,政府大型互聯(lián)網(wǎng)企業(yè)和科研高校不是那么樂觀,我們希望一個(gè)眾籌模式推動(dòng)大數(shù)據(jù)發(fā)展,希望科研企業(yè),創(chuàng)業(yè)企業(yè),小機(jī)構(gòu)推薦這樣才能百花齊放產(chǎn)生跨越式的發(fā)展,我們結(jié)果跟大家分享到這里,謝謝大家!