大數據這兩年一直是熱詞。發展中的大數據確實帶來了很多有用信息，但也使我們遇到越來越多的難題。其中最大的難題就是如何去偽存真，將那些帶來誤導的噪音去除。
因此，發展中的大數據需要的不僅是專業的數據信息人才，而是需要更多善于和各個領域的大數據打交道的人，這對統計學的人才培養提出了全新的要求。
人人都知道，我們生活中很多事情都與大數據發生著關聯。以我在哈佛大學教的通識課“生活中的統計：你快樂(或痛苦)的幾率”為例。羅曼史就與大數據和統計學有密切關系。現在有不少號稱可以幫助大家找到心上人的網站。具體怎么找?通常，網站會做一些調查問卷獲得個人信息。同時調查那些相愛的人與他們個人的興趣愛好、教育背景、家庭情況等有多大的相關性。根據這些搜集到的數據建立一個統計公式，給出一種概率上的預測。當達到一定概率時，網站就會顯示兩個人匹配。這類統計公式的可靠性建立在大量的數據上，而它的形成需要用到許多統計的思想和方法，包括設計問卷、抽樣調查、建立模型、分析數據等等。
另外，酒和巧克力的口感也與大數據處理有關。因為這兩者中的變量因素特別多，比如天氣、地區、葡萄品種、采集及釀造的方法等;巧克力的可可產地、天氣、制作方法等。變量越多，不確定性就越多，越需要統計學家們的工作。
所謂大數據，并非越大越美，越大越有價值。現在大數據研究中，這一點誤導很多人。
比如，在美國抽取一個1000人的抽樣調查。這個調查若是同樣在中國做，要達到同樣精度，需要抽取多少人?美國的人口是3.2億人，中國的人口是美國的4倍多一點。每次我在大學講座問到這個問題，只有10%以下的人說出正確答案--只需抽樣1000人，而絕大多數人認為抽樣數必須大于4000。
為什么呢?最簡單的比喻是：喝湯時，要確定湯的咸淡，大多數人只需要品幾口，并不需要把湯全部喝完。這個判斷的準確性取決于什么?這碗湯的均勻度。喝湯前把整碗湯攪拌一下，然后品嘗幾口，這就是我們所說的隨機取樣。無論是一小碗湯還是一大桶湯，只要攪拌均勻，嘗幾小口就夠了。同樣，去醫院驗血時，每個人不論是胖是瘦，小孩還是大人，醫生都只會抽一點點就可以做出判斷。這意味著抽樣調查需要有一定的樣本，但是一旦超過臨界點以后，和母體大小的關系是完全可以忽略的。也就是說，大數據再大，只要科學抽樣，哪怕只有百分之零點零零幾的均勻抽樣，效果也可以比95%不均勻的數據好。
所謂大數據，也不能光看絕對量，并非數據越多結果越可靠。以現在最熱的個性化治療為例。如果一個藥對95%的人有效，但對我沒有用，那顯然這個95%的數字對我毫無意義。
一個真實的例子是，在20世紀80年代，英國有一本雜志登了兩種治療腎結石的方法。文章摘要宣稱方法A治療腎結石，成功率是78%;用方案B的話，成功率是83%。在沒有其他信息的情況下，任何人都會認為B方案治療效果更好。但是仔細閱讀那篇文章，你會發現當研究人員把病人分成大結石和小結石兩組時，方案A比方案B在每組里的成功率都要高。
為什么會出現這樣似乎令人困惑的所謂“辛普生悖論”?我們應該如何運用這樣的數據去選擇我們個人的治療方案?這些新的問題會隨著大數據的發展越來越多地呈現在我們面前。而且這些都是傳統的統計學科中不太會遇到的難題。大數據中這類難題越來越多，這對我們大數據研究帶來了越來越多的挑戰，當然也為我們的人才培養帶來了更多的挑戰。
找到更高效方法，解決社會問題和科學問題
■范劍青（普林斯頓大學運籌與金融工程系主任、臺灣中研院院士）
大數據伴隨著技術與信息的革命應運而生，近年來發展非常迅速。大數據發展過程中出現的種種問題也使得一些新的統計思想出現，對統計方法也提出了更高要求。
所謂中國人有中國夢，美國人有美國夢，統計學家也有統計學家的夢。大數據時代，統計學家的夢是找到一些有效的可快速實現的統計方法來解決社會問題和科學挑戰。
大數據是信息礦山，有待挖掘與提煉。它是管理決策、商務投資的基因，也是科學技術發展的基石。
大數據，顧名思義，就是大而復雜的數據。互聯網、生命科學、工程科學、自然科學、社會學、經濟學等都是最先實現大數據化的學科，現在人文、歷史學也都數據化了。大數據是刻畫當今科學研究與決策的前沿。
大數據有多大?若假設個人電腦的硬盤容量是1TB，2003年全世界數據大約可裝滿5百萬臺電腦，現在能裝滿80億臺，到2020年，全世界數據預計能裝滿400億臺電腦。這些數據之大可想而知了。
大數據研究是非常有前途的領域。它首先可以為個體化服務提供巨大的便利。科學家們最先想到的是精準醫療，比如，化療對某些人群有用，對某些人群卻有害，這就需要我們考慮引入大數據進行變量的分析。可研究的變量有很多，比如環境因素、個體基因、以及它們的交互作用等，而且人體本身也有很大差異，所以需要從大數據中進行分析和推斷。以前醫生在一千個病例中看到一個異常值，但不清楚這是特例還是有科學價值的。如今，在一百萬個病例中見到一千次異常值，我們就會知道，這些病人需要個體化治療了。大量的變元和個體的異樣性，是研究大數據最本質的難點。
大數據是經濟的新資源，發展的新引擎。數據越大，也越容易產生新的問題。也越需要新的解決方案。這就需要有效的嶄新的統計學習方法和思想來解決。
大數據分析，既可風險預測，也可尋求因果。比如根據健康大數據預測人體最可能患的疾病，預測最可能得哪一類癌癥，這就是大數據下的風險度量。除了預測，人類還希望知道各個因素之間的自變量與因變量的科學關系，從而達到治療與控制的目的，這是大數據更高一層的應用。
當我們利用大數據進行預測時，最需要解決的是噪音疊加問題。因為大數據涉及到幾萬個、幾百萬個乃至數百億個變量，這就意味著如果每一個變量都造成一點點誤差，最后的預測會是很多誤差的疊加，亦即失之毫厘，差之千里。
例如我們有3000支股票，要做投資選擇的話，至少要分析兩兩之間的相關系數，3000支股票的相關系數矩陣中有450萬個參數，如果對這450萬個參數進行估計，就會導致最后的估計誤差很大。因此，對大數據的處理最關鍵的是合理地處理這些變量，將投資風險減少到10%左右。只有在這樣低的風險下，投資才能轉化成回報。這就是我們通常說的量化投資，量化投資首先是利用市場存在局部的無效性，從中得到套利。例如百度的大數據金融聲稱他們利用股票搜索的關注度和傳統金融理論進行股票投資，可以做得比大市要好得多。如果真是這樣的情況，那么最重要的理由就是——大數據金融的量化投資，從關注度中找到新的風險因子。
中國乃至全世界的市場都證明，量化投資仍然有很多套利可尋。中國市場尤其如此——因為美國市場通過統計來量化投資套利的人數比較多，因此獲利空間會相對少，而中國這樣的人相對少一些，所以獲利的機會就多。當然，大數據金融對實體經濟有更直接的影響，那就是個人對個人(PtoP)的融資。人們利用大數據來對貸款人償還能力進行評估，從而得到合理的風險回報。
用大數據來預測，是通過電腦和統計模型來解決，這包括機器學習領域最潮的“深度學習”。如果要預測股票指數，預測宏觀經濟的指標，通過機器的“深度學習”，結合統計建模的新方法，可以達到良好的效果。
京公網安備 11010502049343號