從信息技術(shù)領(lǐng)域到金融行業(yè)、制造行業(yè)，“大數(shù)據(jù)”已經(jīng)成為社會經(jīng)濟(jì)的關(guān)鍵詞。隨著信息技術(shù)的發(fā)展，從國家到企業(yè)，數(shù)據(jù)量越來越多，數(shù)據(jù)種類越來越復(fù)雜，大數(shù)據(jù)技術(shù)也更加成熟，如何將“大數(shù)據(jù)”運用在經(jīng)濟(jì)預(yù)測領(lǐng)域，同樣也成為現(xiàn)在關(guān)注的焦點。6月18日由中國人民大學(xué)國際貨幣研究所、中國互聯(lián)網(wǎng)商務(wù)金融研究院全球經(jīng)濟(jì)大數(shù)據(jù)精準(zhǔn)洞察實驗室主辦的中國大數(shù)據(jù)與經(jīng)濟(jì)預(yù)測論壇在北京召開。會議由國務(wù)院發(fā)展研究中心國際技術(shù)經(jīng)濟(jì)研究所經(jīng)濟(jì)金融研究室副主任、中國互聯(lián)網(wǎng)商務(wù)金融研究院全球經(jīng)濟(jì)大數(shù)據(jù)精準(zhǔn)洞察實驗室副主任曲雙石主持。

在經(jīng)濟(jì)預(yù)測領(lǐng)域運用大數(shù)據(jù)，如何利用大數(shù)據(jù)技術(shù)和方法，達(dá)到我們進(jìn)行經(jīng)濟(jì)預(yù)測的目的，是非常值得思考的。所以，本次會議來自明略數(shù)據(jù)的金融大數(shù)據(jù)行業(yè)專家楊昀結(jié)合充分的企業(yè)實踐和行業(yè)洞察，從微觀層面，就大數(shù)據(jù)來源、采集與使用進(jìn)行了“干貨”分享。

以下具體內(nèi)容：

2011年麥肯錫企業(yè)競爭力和生產(chǎn)力報告顯示，未來三分之二的金融業(yè)生產(chǎn)力增長來自數(shù)據(jù)系統(tǒng)。這個數(shù)字告訴我們，大數(shù)據(jù)在現(xiàn)代企業(yè)發(fā)展中，占據(jù)了非常重要的地位。所以，大數(shù)據(jù)在近幾年能夠得到企業(yè)的高度關(guān)注。

那么通常，數(shù)據(jù)處理的流程是什么樣的呢?

其實，通用的數(shù)據(jù)處理工業(yè)流程已經(jīng)存在幾十年，不管是宏觀預(yù)測還是企業(yè)大數(shù)據(jù)實踐，都需要這個流程。數(shù)據(jù)處理的流程通常包括，數(shù)據(jù)的采集、分析、輸出。通過這樣的流程和一定的數(shù)據(jù)技術(shù)，可以幫助國家、企業(yè)做出更好的預(yù)測、決策以便采取更快的行動。

那么，為什么我們還要在大數(shù)據(jù)時代進(jìn)行優(yōu)化呢?因為大數(shù)據(jù)相對于傳統(tǒng)數(shù)據(jù)處理，有非常大的變化，需要我們用更好的技術(shù)手段進(jìn)行實現(xiàn)。

下面，我們根據(jù)明略數(shù)據(jù)豐富的企業(yè)實踐，針對大數(shù)據(jù)時代的數(shù)據(jù)來源、采集、使用等各方面，談一下自己的想法和大數(shù)據(jù)時代的現(xiàn)狀，挑戰(zhàn)和應(yīng)對思路。

大數(shù)據(jù)來源

對于大數(shù)據(jù)的來源，沒有非常明確的分類。我們經(jīng)常接觸到的分類比如有結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù);互聯(lián)網(wǎng)公開數(shù)據(jù)、企業(yè)內(nèi)部數(shù)據(jù)，或者行業(yè)共享數(shù)據(jù)。

我們傾向于將數(shù)據(jù)分為物理世界的數(shù)據(jù)和人類社會的數(shù)據(jù)。物理世界的數(shù)據(jù)，是通過科學(xué)實驗得到的數(shù)據(jù)，是直觀的、可以量化的數(shù)據(jù)。而人類社會數(shù)據(jù)則是具有多樣性、時效性等特點，也是我們大數(shù)據(jù)時代主要的數(shù)據(jù)源。但這樣的數(shù)據(jù)有很多噪聲，比如在互聯(lián)網(wǎng)上，當(dāng)某一個熱點事件發(fā)生的時候，會產(chǎn)生非常多并發(fā)數(shù)據(jù)，數(shù)據(jù)多而雜，會有很多噪音。按照如上分類之后，大數(shù)據(jù)并不是一個純粹的技術(shù)，或純數(shù)學(xué)維度的學(xué)科，我們還需要與社會學(xué)、人類學(xué)、心理學(xué)以及行業(yè)知識進(jìn)行交叉，才能做好大數(shù)據(jù)的各方面技術(shù)。

關(guān)于數(shù)據(jù)的權(quán)利確認(rèn)

在大數(shù)據(jù)的時代，對于企業(yè)和個人來說，數(shù)據(jù)是一種資源，是一種無形的資產(chǎn)。如何確定數(shù)據(jù)的權(quán)利，并且保護(hù)這些權(quán)利，是全世界共同面臨的問題。在美國，民眾對于數(shù)據(jù)使用和隱私權(quán)的保護(hù)采用比較容忍的態(tài)度，但是歐洲民眾則更注重隱私權(quán)。中國還處在制度討論的前期，沒有明確的規(guī)定。這也是我們中國大數(shù)據(jù)行業(yè)需要思考的問題。

大數(shù)據(jù)價值取向

在大數(shù)據(jù)時代，數(shù)據(jù)都是以TB, PB甚至更高的數(shù)量級存在的，但數(shù)據(jù)是不是越多越好呢?當(dāng)然，如果數(shù)據(jù)價值高，答案是肯定的。但是如果數(shù)據(jù)本身噪聲大，那么在做經(jīng)濟(jì)預(yù)測、企業(yè)決策時，并不是數(shù)據(jù)越多越好。我們需要選擇數(shù)據(jù)價值密度高的數(shù)據(jù)來源，才能有最終價值。

大數(shù)據(jù)采集

大數(shù)據(jù)采集，主要會分為獲取和清理兩部分。數(shù)據(jù)獲取的途徑非常多樣，主要有公開數(shù)據(jù)和內(nèi)部數(shù)據(jù)，像是企業(yè)生產(chǎn)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、第三方生態(tài)系統(tǒng)數(shù)據(jù)等等。但是，在獲取這些數(shù)據(jù)后，大多數(shù)據(jù)都存在冗余、噪聲等問題，這都需要我們通過數(shù)據(jù)清洗才能去除數(shù)據(jù)中的冗余、噪聲，提高數(shù)據(jù)質(zhì)量。

在大數(shù)據(jù)采集中，我們依舊面臨很多問題。

數(shù)據(jù)壁壘問題

數(shù)據(jù)作為核心競爭力，國家和企業(yè)都傾向于保護(hù)自己的數(shù)據(jù)，而不會無償公開數(shù)據(jù)。企業(yè)內(nèi)部也有數(shù)據(jù)邊界，跨部門之間的數(shù)據(jù)，也存在不容易交換的問題。這就形成了數(shù)據(jù)壁壘。雖然在業(yè)內(nèi)現(xiàn)在已經(jīng)有了一些平臺，國內(nèi)也有一些大數(shù)據(jù)交易所成立，但是制度不是很完善。“數(shù)據(jù)貿(mào)易保護(hù)”當(dāng)中，每家企業(yè)都想獲得別人的數(shù)據(jù)，但是都想減少對外共享的數(shù)據(jù)。

數(shù)據(jù)精煉問題

如同上文所說，我們在采集數(shù)據(jù)時，會存在大量的數(shù)據(jù)冗余和噪聲。所以，在使用這些數(shù)據(jù)前，會需要大量的人力、物力和時間成本去對數(shù)據(jù)進(jìn)行精煉和處理，以提高其價值。

大數(shù)據(jù)使用

大數(shù)據(jù)的使用，本身是一個非常完整的體系。我們認(rèn)為，主要有發(fā)現(xiàn)和發(fā)掘兩個部分。“發(fā)現(xiàn)”，主要是數(shù)據(jù)之間的顯性關(guān)系，通過傳統(tǒng)的統(tǒng)計分析可以得到結(jié)果。但在數(shù)據(jù)量大、種類多、關(guān)聯(lián)關(guān)系復(fù)雜的大數(shù)據(jù)時代，我們除了傳統(tǒng)的“發(fā)現(xiàn)”數(shù)據(jù)，還需要在大量的數(shù)據(jù)中，“發(fā)掘”數(shù)據(jù)之間的隱性關(guān)聯(lián)，從而達(dá)到挖掘數(shù)據(jù)背后的價值，幫助經(jīng)濟(jì)預(yù)測和企業(yè)決策。

大數(shù)據(jù)時代，我們?nèi)绾问褂脭?shù)據(jù)呢?

大數(shù)據(jù)時代的應(yīng)用場景和以前有著非常大的變化，以前我們只關(guān)注樣本數(shù)據(jù)，現(xiàn)在可以處理全量數(shù)據(jù)，并利用模型把以前不能關(guān)聯(lián)的數(shù)據(jù)關(guān)聯(lián)起來，并應(yīng)用到更多場景中。

同時，在大數(shù)據(jù)應(yīng)用中，我們也會考慮因果和相關(guān)關(guān)系的取舍問題。傳統(tǒng)的數(shù)據(jù)統(tǒng)計，都是對樣本進(jìn)行研究，并發(fā)掘因果關(guān)系。但是在大數(shù)據(jù)時代，我們會更多地關(guān)注相關(guān)關(guān)系而不是因果關(guān)系。那么在經(jīng)濟(jì)預(yù)測中，我們還需要考慮，是不是對于宏觀經(jīng)濟(jì)預(yù)測，經(jīng)過大數(shù)據(jù)計算得到相關(guān)結(jié)果，就可以確定結(jié)論，不需要背后的因果邏輯。現(xiàn)今，在企業(yè)的角度，我們通常關(guān)注相關(guān)性能夠帶來效益，并使用它。

關(guān)于大數(shù)據(jù)行業(yè)未來的發(fā)展，明略數(shù)據(jù)也有自己的建議：

建立制度

首先，我們希望國家從法制的層面明確制度建設(shè)，只有明確大數(shù)據(jù)相關(guān)的制度，才能在大數(shù)據(jù)市場建立許可和信任，明確數(shù)據(jù)資產(chǎn)，并獲得更陽光的市場，保證數(shù)據(jù)合法權(quán)益不受侵犯。擁有陽光的市場，我們可以通過更清晰的角度評估數(shù)據(jù)來源和成本。

數(shù)據(jù)開放

在國家和企業(yè)層面能夠更大程度開放大數(shù)據(jù)，破除壁壘，這樣才能讓使用者獲得各種數(shù)據(jù)源間的關(guān)聯(lián)關(guān)系。并提供更多的大數(shù)據(jù)運用場景，從多方面挖掘數(shù)據(jù)的實用價值。同時進(jìn)行標(biāo)準(zhǔn)化建設(shè)。因為數(shù)據(jù)清洗本身需要耗費非常多的人力、物力，如果能從國家層面建立個人、企業(yè)的數(shù)據(jù)標(biāo)準(zhǔn)，會讓整個大數(shù)據(jù)行業(yè)降低成本、更好發(fā)揮數(shù)據(jù)價值。

嘗試

大數(shù)據(jù)技術(shù)現(xiàn)在還處于發(fā)展階段，所以，我們也需要利用大數(shù)據(jù)的技術(shù)多去嘗試，去發(fā)現(xiàn)更多大數(shù)據(jù)的思維和方法。通過全量數(shù)據(jù)，發(fā)掘關(guān)聯(lián)關(guān)系。并且容忍試錯，只有通過不斷的迭代和試錯，大數(shù)據(jù)行業(yè)才能更加健康的發(fā)展，為國家宏觀經(jīng)濟(jì)、企業(yè)微觀決策作出更多貢獻(xiàn)。

明略數(shù)據(jù)作為一家注重關(guān)聯(lián)關(guān)系挖掘的大數(shù)據(jù)解決方案公司，也有豐富的大數(shù)據(jù)實踐案例。在金融行業(yè)，明略數(shù)據(jù)也希望通過大數(shù)據(jù)驅(qū)動實現(xiàn)營銷精準(zhǔn)化，風(fēng)控全面化和交互社會化，并能夠幫助企業(yè)真正做到用大數(shù)據(jù)進(jìn)行“生產(chǎn)”。