本文首發(fā)于微信公眾號(hào)：大數(shù)據(jù)文摘。文章內(nèi)容屬作者個(gè)人觀點(diǎn)，不代表和訊網(wǎng)立場(chǎng)。投資者據(jù)此操作，風(fēng)險(xiǎn)請(qǐng)自擔(dān)。
作者：Evangelos Simoudis
編者按：這篇文章是一個(gè)投資者對(duì)數(shù)據(jù)分析在過(guò)去25年的回顧。作者西蒙迪斯從投資者的角度討論了數(shù)據(jù)分析的變革，認(rèn)知應(yīng)用的價(jià)值，以及最受風(fēng)投關(guān)注的大數(shù)據(jù)核心領(lǐng)域。
在我的之前的一些博客中，我提到了生成認(rèn)知的必要性和重要性，并提供了一個(gè)認(rèn)知應(yīng)用的例子。我始終認(rèn)為認(rèn)知應(yīng)用是對(duì)于希望通過(guò)挖掘大數(shù)據(jù)從而改進(jìn)決策和解決重要問(wèn)題的公司的關(guān)鍵所在。為了更好的理解和領(lǐng)會(huì)開(kāi)發(fā)這類(lèi)應(yīng)用的必要性，考慮在大數(shù)據(jù)領(lǐng)域正在發(fā)生什么，并且評(píng)估我們?cè)谏虡I(yè)智能系統(tǒng)上的經(jīng)驗(yàn)，及它應(yīng)該如何驅(qū)動(dòng)我們理解認(rèn)知應(yīng)用是十分重要的。
由于我認(rèn)為認(rèn)知應(yīng)用是大數(shù)據(jù)發(fā)展的下一個(gè)轉(zhuǎn)折（參見(jiàn)最近使用IBM Watson平臺(tái)建立的這類(lèi)應(yīng)用舉例），我將要在一系列博客中進(jìn)一步探討這個(gè)話題。在這篇博客中，我對(duì)于數(shù)據(jù)分析在過(guò)去25年的演變進(jìn)行了觀察。，特別是當(dāng)我們來(lái)到大數(shù)據(jù)時(shí)代，開(kāi)發(fā)認(rèn)知應(yīng)用是必然之舉。在第二篇博客中，我將更為詳細(xì)地描述這類(lèi)應(yīng)用，并且提供一些例子。在第最后的第三篇博客中，我將討論投資者對(duì)認(rèn)知應(yīng)用的興趣，并描述我最近對(duì)這一領(lǐng)域的創(chuàng)業(yè)公司的投資。在這些博客中，我的分析和理解均基于本人作為三十多年的企業(yè)家、量?jī)煞治鰬?yīng)用創(chuàng)業(yè)公司的創(chuàng)始人以及在這一領(lǐng)域進(jìn)行了15年投資的風(fēng)險(xiǎn)投資人的經(jīng)驗(yàn)。
數(shù)據(jù)分析在過(guò)去25年
隨著過(guò)去25年中數(shù)據(jù)量的大幅增加，針對(duì)決策制定的數(shù)據(jù)理解都由兩個(gè)步驟組成：創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)以及理解數(shù)據(jù)倉(cāng)庫(kù)的內(nèi)容。
數(shù)據(jù)倉(cāng)庫(kù)以及它的前身—企業(yè)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)市場(chǎng)等，是構(gòu)造專業(yè)數(shù)據(jù)庫(kù)所必須的基礎(chǔ)架構(gòu)。這些數(shù)據(jù)可能來(lái)自于一個(gè)單獨(dú)的數(shù)據(jù)源（例如客戶關(guān)系管理應(yīng)用的數(shù)據(jù)庫(kù)）或者來(lái)自整合過(guò)的一系列不同的數(shù)據(jù)源（例如將一個(gè)客戶關(guān)系管理應(yīng)用的數(shù)據(jù)庫(kù)和一個(gè)包含每個(gè)客戶的社交媒體交互數(shù)據(jù)的數(shù)據(jù)庫(kù)整合起來(lái)）。這些數(shù)據(jù)可能是結(jié)構(gòu)化的（例如貨幣被描述為每個(gè)用戶支付的數(shù)量）、非結(jié)構(gòu)化的（例如一個(gè)客戶和一個(gè)服務(wù)專員之間以文本形式的交互內(nèi)容）。專業(yè)化數(shù)據(jù)是那些一旦被抓取，就是干凈的、有標(biāo)簽的、并且自動(dòng)地或被（比人們認(rèn)為更頻繁地進(jìn)行）人工描述的。
在過(guò)去幾年里，我們已經(jīng)通過(guò)大量使用開(kāi)源軟件、云計(jì)算、商用硬件等來(lái)降低數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)銷(xiāo)，并進(jìn)一步改進(jìn)我們管理更多樣、大量和高速產(chǎn)生的數(shù)據(jù)的能力。我們已經(jīng)從只有諸如金融服務(wù)的花旗銀行以及零售業(yè)的沃爾瑪之類(lèi)的大公司才能負(fù)擔(dān)的、千萬(wàn)美元開(kāi)銷(xiāo)的數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)向?qū)τ谥行⌒推髽I(yè)可以負(fù)擔(dān)得起的數(shù)據(jù)倉(cāng)庫(kù)。最近，低開(kāi)銷(xiāo)的服務(wù)提供方，諸如亞馬遜的Redshift，谷歌的BigQuery，甚至是微軟的Azure，已經(jīng)把數(shù)據(jù)倉(cāng)庫(kù)移到云上。最終，數(shù)據(jù)倉(cāng)庫(kù)對(duì)于普通企業(yè)來(lái)說(shuō)都是可用的。
隨著數(shù)據(jù)倉(cāng)庫(kù)的崛起，數(shù)據(jù)分析報(bào)告的交付已從打印轉(zhuǎn)向數(shù)據(jù)化
數(shù)據(jù)理解的第二步涉及到通過(guò)數(shù)據(jù)分析來(lái)理解數(shù)據(jù)倉(cāng)庫(kù)的內(nèi)容。在商業(yè)環(huán)境中，這往往是通過(guò)報(bào)告和關(guān)聯(lián)的可視化來(lái)完成，有時(shí)候也會(huì)使用更加定制化的可視化和諸如神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法（機(jī)器學(xué)習(xí)雖然并不是新概念，但幾乎從數(shù)據(jù)倉(cāng)庫(kù)作為數(shù)據(jù)存儲(chǔ)和管理工具出現(xiàn)開(kāi)始就被使用）。
隨著數(shù)據(jù)倉(cāng)庫(kù)被更多的各行各業(yè)的公司所采用，我們見(jiàn)證了可以創(chuàng)建的報(bào)告的形式的逐漸改變，報(bào)告被展現(xiàn)給分析師和決策者，以及準(zhǔn)備報(bào)告的人。在早期（80年代末90年代早期），商務(wù)智能報(bào)告由技術(shù)專員創(chuàng)建，他們也是通過(guò)向數(shù)據(jù)倉(cāng)庫(kù)提供函數(shù)和查詢來(lái)得到報(bào)告。這些報(bào)告被封裝（例如，它們可以被修改，但是有很大難度，且只能被同一個(gè)創(chuàng)建報(bào)告的技術(shù)專員所修改），并在計(jì)算機(jī)打印紙上呈現(xiàn)。后來(lái)，盡管這些報(bào)告仍然被封裝，它們可以在電腦上通過(guò)專門(mén)的報(bào)告程序來(lái)呈現(xiàn)，再后來(lái)，可以呈現(xiàn)在包括智能電話和手持終端運(yùn)行的網(wǎng)絡(luò)瀏覽器上。近年來(lái)，查詢創(chuàng)建和報(bào)告撰寫(xiě)的任務(wù)從技術(shù)專員轉(zhuǎn)交給了商業(yè)用戶。然而，盡管查詢和關(guān)聯(lián)的報(bào)告變得更快、更靈活、被更廣泛的使用，這些報(bào)告的主要用戶——商業(yè)分析師們，仍然困擾于在大量信息中發(fā)現(xiàn)在報(bào)告中存在的最簡(jiǎn)單的模式。最重要的是，這些用戶糾結(jié)于基于報(bào)告所包含的信息應(yīng)該決定采取什么行動(dòng)（參見(jiàn)圖1的例子）。
圖1關(guān)于復(fù)雜的數(shù)據(jù)模式和可視化的一些常見(jiàn)的例子，圖片由Evangelos Simoudis提供
隨著更多數(shù)據(jù)的產(chǎn)生，我們已經(jīng)可以更有效地管理數(shù)據(jù)所帶來(lái)的開(kāi)銷(xiāo)，但是仍然掙扎于進(jìn)行有效的數(shù)據(jù)分析
受到全球因特網(wǎng)的普及，它所帶來(lái)的網(wǎng)絡(luò)連通性的驅(qū)動(dòng)，物聯(lián)網(wǎng)之類(lèi)的新領(lǐng)域產(chǎn)生的前所未見(jiàn)的海量數(shù)據(jù)，以及基于這些所創(chuàng)建的大量應(yīng)用，使得我們被數(shù)據(jù)所淹沒(méi)?？焖贁?shù)據(jù)和慢數(shù)據(jù)，簡(jiǎn)單數(shù)據(jù)和復(fù)雜數(shù)據(jù)，所有這些數(shù)據(jù)都是前所未有的大量。數(shù)據(jù)的量變的多大了呢？我們已經(jīng)從在2014年產(chǎn)生大約5澤字節(jié)的非結(jié)構(gòu)化數(shù)據(jù)到2020年將增加到大約40澤字節(jié)的非結(jié)構(gòu)化（參見(jiàn)圖2）。
圖2 非結(jié)構(gòu)化數(shù)據(jù)在2005至2020年的實(shí)際和預(yù)期增長(zhǎng)對(duì)比，圖片由Evangelos Simoudis提供
特別是在上一個(gè)十年間，隨著數(shù)據(jù)量變得更大，企業(yè)的IT策略核心變?yōu)橛煤苌俚馁Y源做更多的事。公司的數(shù)據(jù)倉(cāng)庫(kù)開(kāi)始面臨兩大問(wèn)題。第一，其中的一些系統(tǒng)不能有效地管理所獲取的海量數(shù)據(jù)，因而數(shù)據(jù)不能被應(yīng)用有效的利用。第二，開(kāi)銷(xiāo)變得不能承受的高，成為數(shù)據(jù)管理方面另一大挑戰(zhàn)。
與此同時(shí)，當(dāng)新一代的數(shù)據(jù)管理軟件（例如Hadoop）被谷歌、雅虎等重量級(jí)科技公司開(kāi)發(fā)出來(lái)，一些“部分”解決方案開(kāi)始出現(xiàn)。一開(kāi)始，這些軟件在商用硬件上運(yùn)行，并且很快開(kāi)源，從而使得企業(yè)可以以較低的開(kāi)銷(xiāo)來(lái)解決它們的大數(shù)據(jù)問(wèn)題。Cloudera, Hortonworks以及一些其他提供開(kāi)源軟件服務(wù)的公司在大數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域扮演了重要角色。我將這些解決方案稱為“部分”是因?yàn)樵诠芾頂?shù)據(jù)的同時(shí)，這些系統(tǒng)并不包含企業(yè)所使用數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的那些復(fù)雜的、專用的功能。但是這些新系統(tǒng)擅于構(gòu)建數(shù)據(jù)湖泊，適用于多樣化的大數(shù)據(jù)環(huán)境，并旨在通過(guò)更低的開(kāi)銷(xiāo)替代或增強(qiáng)某些類(lèi)型的數(shù)據(jù)倉(cāng)庫(kù)。
盡管我們有效管理大數(shù)據(jù)開(kāi)銷(xiāo)的能力得到了改進(jìn)，但是我們分析數(shù)據(jù)的能力，不計(jì)開(kāi)銷(xiāo)的情況下，仍然沒(méi)有提升。盡管大眾媒體宣稱從數(shù)據(jù)中得來(lái)的認(rèn)知結(jié)果將是新的石油（或金子，挑選你喜歡的隱喻），但市場(chǎng)研究公司IDC預(yù)測(cè)，到2020只有很少一部分采集的數(shù)據(jù)會(huì)被分析。我們需要分析更多抓取的數(shù)據(jù)，并從中提取更多的信息。
我們正在致力于改進(jìn)我們分析數(shù)據(jù)的能力，但是面臨著數(shù)據(jù)專業(yè)人員的短缺
為了收集和分析更多的數(shù)據(jù)，同時(shí)不放棄報(bào)告的生成，我們開(kāi)始廣泛采用機(jī)器學(xué)習(xí)和其他基于人工智能數(shù)據(jù)分析技術(shù)的自動(dòng)化的信息抽取方法。然而，這些方法要求使用一類(lèi)新的專業(yè)人員——數(shù)據(jù)科學(xué)家。盡管我們看到數(shù)據(jù)科學(xué)家的數(shù)量潮涌般增加，但是我們需要更多，并且，與正在產(chǎn)生的數(shù)據(jù)相比我們永遠(yuǎn)不能提供足夠的數(shù)據(jù)科學(xué)家。麥肯錫（http://synapsepartners.co/ideas/）曾估計(jì)，到2018年，美國(guó)將面臨（大約14萬(wàn)至19萬(wàn)缺口）人才缺口，這些人擁有可以從收集的數(shù)據(jù)中提取認(rèn)知結(jié)果的深度分析技能。我們還將缺少大約150萬(wàn)擁有量化分析技能的、可以基于數(shù)據(jù)科學(xué)家生成的大數(shù)據(jù)分析來(lái)做出重要商業(yè)決策的經(jīng)理。
機(jī)器學(xué)習(xí)改進(jìn)了我們發(fā)現(xiàn)數(shù)據(jù)中關(guān)聯(lián)性的能力，但做出決策的要求的時(shí)間變短了，而數(shù)據(jù)產(chǎn)生的速度增加了
商業(yè)智能是一個(gè)出現(xiàn)了近40年的領(lǐng)域。統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)技術(shù)被使用的時(shí)間則更長(zhǎng)。在這一時(shí)期，我們已經(jīng)提升了我們從數(shù)據(jù)集中識(shí)別關(guān)聯(lián)性的能力，但是做出決策的時(shí)間要求正在變短，而數(shù)據(jù)產(chǎn)生的速度不斷增加。舉例來(lái)說(shuō)，公司的首席金融官們可能有一個(gè)月的時(shí)間來(lái)創(chuàng)建金融預(yù)報(bào)，然而一個(gè)自動(dòng)的在線廣告平臺(tái)只有僅僅10毫秒的時(shí)間來(lái)決定把哪一個(gè)數(shù)字廣告展現(xiàn)給特定的用戶（參見(jiàn)圖3）。此外，一個(gè)首席金融官僅需要參考幾十億字節(jié)的數(shù)據(jù)就可以得出決策，而在線廣告系統(tǒng)不得不分析萬(wàn)億兆字節(jié)的數(shù)據(jù)，大部分的數(shù)據(jù)還是近實(shí)時(shí)生成的。
圖3 各行業(yè)做出決策需要的平均時(shí)間示意，圖片由Evangelos Simoudis提供
在一些應(yīng)用領(lǐng)域，簡(jiǎn)單地識(shí)別出數(shù)據(jù)集中的關(guān)聯(lián)性對(duì)做出決策來(lái)說(shuō)已經(jīng)足夠。在其中一些高價(jià)值高投資回報(bào)的領(lǐng)域，通過(guò)數(shù)據(jù)科學(xué)家和其他專業(yè)人員來(lái)從大量數(shù)據(jù)中抽取信息是合理且必要的。計(jì)算機(jī)安全威脅檢測(cè)以及信用卡欺詐檢測(cè)就是兩個(gè)這樣的領(lǐng)域。在這些領(lǐng)域里，作出決策的時(shí)間是非常短的，做出錯(cuò)誤決定（過(guò)度保守）的代價(jià)，至少最初并不是非常高。將一個(gè)交易視作欺詐或者將一個(gè)行為視為安全入侵的代價(jià)也很低（例如持卡人的不便或是對(duì)于系統(tǒng)管理員的一些網(wǎng)絡(luò)取證）。但是，沒(méi)有檢測(cè)到在已建立的行為模式中的異常的代價(jià)將會(huì)更高。
為了跟上大數(shù)據(jù)的節(jié)奏和改善我們對(duì)信息的使用，我們需要能快速而廉價(jià)地抽取相關(guān)性并將其與行動(dòng)關(guān)聯(lián)起來(lái)的應(yīng)用
考慮到預(yù)期的數(shù)據(jù)科學(xué)家和具有量化分析能力的商業(yè)用戶的短缺，以及我們迫切的繼續(xù)挖掘已經(jīng)收集到的海量數(shù)據(jù)的需求，我們要能更好地開(kāi)發(fā)分析應(yīng)用，使其能夠生成認(rèn)知并關(guān)聯(lián)到行動(dòng)上。這類(lèi)應(yīng)用，被我稱為認(rèn)知應(yīng)用，將超遠(yuǎn)勝于從數(shù)據(jù)中抽取相關(guān)性。
我們已經(jīng)在數(shù)據(jù)理解上取得了很大進(jìn)展。我們已經(jīng)降低了管理大數(shù)據(jù)的開(kāi)銷(xiāo)，與此同時(shí)改進(jìn)了我們分析和提取關(guān)鍵信息的能力。但是，大數(shù)據(jù)的增量過(guò)快以至于我們不能通過(guò)更快或者更靈活的查詢以及報(bào)告來(lái)緊跟步伐。我們需要能夠創(chuàng)建廉價(jià)快速的可執(zhí)行認(rèn)知能力，特別是通過(guò)使用認(rèn)知應(yīng)用。我將在下一篇博客中更加完整地討論這一主題。
來(lái)源：O'Reilly Data
京公網(wǎng)安備 11010502049343號(hào)