去年10月，我們召開以大數據為主題的科學討論會時，有一位代表說，那么多專家講了一天，連什么是大數據的概念都還沒搞清。我說不對。大家是從不同的角度對這個概念進行詮釋。如同說到“文化”這個概念，馬上問100個人，難道能夠得出一個統一的答案嗎？也許100個人就有100個答案。但這并不意味著大家對這個概念沒有一種相差無幾的共識。同樣，講到精神這個概念，雖然大家都能理解得八九不離十，但100個人卻很難給出一個相同的標準答案。如果沒有一個絕對權威，像確定“北京精神”那樣，給大數據明確一個獨一無二的概念，大家就會在八九不離十的基礎上依然各自表述、各說各話。
我們的研究成果顯示，對大數據現象和概念追根溯源，大致可以分為三個階段。一是20世紀80年代至90年代中期，是大數據認知的萌芽階段。1980年，美國著名未來學家阿爾文·托夫勒在《第三次浪潮》一書中將大數據盛贊為“第三次浪潮的華彩樂章”。二是20世紀90年代中期到21世紀前10年，是大數據廣受各界關注的階段。美國高德納（Gartner Group）公司的分析師道格拉斯·蘭尼（Douglas Laney）2001年首次從大數據的特征的角度對大數據進行了相對明確的定義，強調大數據必須具備3V特征，即容量大、多樣化和速度快。三是2010年至今，是大數據戰略應用被提上日程并迅速發展的階段。美國總統科學技術顧問委員會于2010年給奧巴馬總統和國會呈報了題為《規劃數字化的未來》的報告。麥肯錫公司于2011年發布了《大數據：創新、競爭和生產力的下一個前沿》的報告。2012年更是一個重要年份。1月，瑞士達沃斯世界經濟論壇發布報告《大數據 大影響》；3月，美國奧巴馬政府頒布了《大數據的研究和發展計劃》；5 月，聯合國秘書長執行辦公室發布了《大數據促發展：挑戰與機遇》的報告；6月，經合組織OECD統計委員會第9屆會議發布《使用大數據作決策》研究報告。2013年則可以稱為中國統計的大數據元年。7月，“大數據時代統計學：機遇與挑戰——中國統計學高端論壇”在上海財經大學舉辦；10月，主題為“大數據背景下的統計”的第十七次全國統計科學討論會在杭州舉行；11月，國家統計局與阿里、百度等11家企業簽署了大數據戰略合作框架協議。
什么是大數據？麥肯錫報告的定義是，“大數據是指大小超出了傳統數據庫軟件工具的抓取、存儲、管理和分析能力的數據群”。維基百科（Wikipedia）的表述是，“大數據是難以用現有的數據庫管理工具處理的兼具海量特征和復雜性特征的數據集成。”涂子沛將大數據定義為那些大小已經超出了傳統意義上的尺度，一般的軟件工具難以捕捉、存儲、管理和分析的數據，認為一般應該是“太字節”的數量級。阿里創始人馬云則說，大數據就是一種服務。而我們的同仁在研究中提出：大數據是指采用多種數據收集方式，匯集不同數據源，通過采用現代信息技術和架構能夠高速分析處理的、具有高度應用價值和決策支持功能的多種類型數據及其技術集成。
從存在形態看：大數據分為可以用二維表反映的結構化數據和不能以二維表反映的非結構化數據，如音頻、視頻、圖片等。從數據來源看：大數據可分為行政記錄數據、商業記錄數據、互聯網及搜索引擎數據三大類。行政記錄數據包括個人信息記錄數據，單位信息記錄數據和自然和資源記錄數據等；商業記錄數據包括電子商務交易數據，企業生產經營數據和信息咨詢報告數據等；互聯網數據則包括搜索引擎數據，新聞媒體數據和社交平臺數據等。而大數據的特征，從最初的3V已經被歸納為6V加1C。即數據體量大(Volume)，類型多樣化（Variety），處理速度快（Velocity），應用價值大（Value），數據獲取與發送的方式自由靈活（Vender），準確性(veracity)和處理和分析難度非常大（Complexity）。
相對于傳統數據，大數據多是自動化或半自動化生成；數據的搜集、處理、存儲和分析能力都已極大提高；數據主體和來源日趨多元化；非結構化數據占絕大多數；需要大量過濾才能提取有用價值；隱私與安全也存在著巨大隱患。
京公網安備 11010502049343號