2005年Hadoop項目誕生。Hadoop其最初只是雅虎公司用來解決網頁搜索問題的一個項目，后來因其技術的高效性，被Apache Software Foundation公司引入并成為開源應用。Hadoop本身不是一個產品，而是由多個軟件產品組成的一個生態系統，這些軟件產品共同實現全面功能和靈活的大數據分析。從技術上看，Hadoop由兩項關鍵服務構成：采用Hadoop分布式文件系統(HDFS)的可靠數據存儲服務，以及利用一種叫做MapReduce技術的高性能并行數據處理服務。這兩項服務的共同目標是，提供一個使對結構化和復雜數據的快速、可靠分析變為現實的基礎。
2008年末，“ 大數據 ”得到部分美國知名計算機科學研究人員的認可，業界組織計算社區聯盟(Computing Community Consortium)，發表了一份有影響力的白皮書《大數據計算：在商務、科學和社會領域創建革命性突破》。它使人們的思維不僅局限于數據處理的機器，并提出：大數據真正重要的是新用途和新見解，而非數據本身。此組織可以說是最早提出大數據概念的機構。
2009年印度政府建立了用于身份識別管理的生物識別數據庫，聯合國全球脈沖項目已研究了對如何利用手機和社交網站的數據源來分析預測從螺旋價格到疾病爆發之類的問題。
2009年中，美國政府通過啟動Data.gov網站的方式進一步開放了數據的大門，這個網站向公眾提供各種各樣的政府數據。該網站的超過4.45萬量數據集被用于保證一些網站和智能手機應用程序來跟蹤從航班到產品召回再到特定區域內失業率的信息，這一行動激發了從肯尼亞到英國范圍內的政府們相繼推出類似舉措。
2009年，歐洲一些領先的研究型圖書館和科技信息研究機構建立了伙伴關系致力于改善在互聯網上獲取科學數據的簡易性。
2010年2月，肯尼斯 庫克爾在《經濟學人》上發表了長達14頁的大數據專題報告《數據，無所不在的數據》。庫克爾在報告中提到：“世界上有著無法想象的巨量數字信息，并以極快的速度增長。從經濟界到科學界，從政府部門到藝術領域，很多方面都已經感受到了這種巨量信息的影響。科學家和計算機工程師已經為這個現象創造了一個新詞匯：“大數據”。庫克爾也因此成為最早洞見大數據時代趨勢的數據科學家之一。
2011年2月，IBM的沃森超級計算機每秒可掃描并分析4TB(約2億頁文字量)的數據量，并在美國著名智力競賽電視節目《危險邊緣》“Jeopardy”上擊敗兩名人類選手而奪冠。后來紐約時報認為這一刻為一個“大數據計算的勝利。”
2011年5月，全球知名咨詢公司麥肯錫(McKinsey&Company)肯錫全球研究院(MGI)發布了一份報告——《大數據：創新、競爭和生產力的下一個新領域》，大數據開始備受關注，這也是專業機構第一次全方面的介紹和展望大數據。報告指出，大數據已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來。報告還提到，“大數據”源于數據生產和收集的能力和速度的大幅提升——由于越來越多的人、設備和傳感器通過數字網絡連接起來，產生、傳送、分享和訪問數據的能力也得到徹底變革。
2011年12月，工信部發布的物聯網十二五規劃上，把信息處理技術作為4項關鍵技術創新工程之一被提出來，其中包括了海量數據存儲、數據挖掘、圖像視頻智能分析，這都是大數據的重要組成部分。
2012年1月份，瑞士達沃斯召開的世界經濟論壇上，大數據是主題之一，會上發布的報告《大數據，大影響》(Big Data, Big Impact)宣稱，數據已經成為一種新的經濟資產類別，就像貨幣或黃金一樣。
2012年3月，美國奧巴馬政府在白宮網站發布了《大數據研究和發展倡議》，這一倡議標志著大數據已經成為重要的時代特征。2012年3月22日，奧巴馬政府宣布2億美元投資大數據領域，是大數據技術從商業行為上升到國家科技戰略的分水嶺，在次日的電話會議中，政府對數據的定義“未來的新石油”，大數據技術領域的競爭，事關國家安全和未來。并表示，國家層面的競爭力將部分體現為一國擁有數據的規模、活性以及解釋、運用的能力;國家數字主權體現對數據的占有和控制。數字主權將是繼邊防、海防、空防之后，另一個大國博弈的空間。
2012年4月，美國軟件公司Splunk于19日在納斯達克成功上市，成為第一家上市的大數據處理公司。鑒于美國經濟持續低靡、股市持續震蕩的大背景，Splunk首日的突出交易表現尤其令人們印象深刻，首日即暴漲了一倍多。Splunk是一家領先的提供大數據監測和分析服務的軟件提供商，成立于2003年。Splunk成功上市促進了資本市場對大數據的關注，同時也促使IT廠商加快大數據布局。
2012年7月，聯合國在紐約發布了一份關于大數據政務的白皮書，總結了各國政府如何利用大數據更好地服務和保護人民。這份白皮書舉例說明在一個數據生態系統中，個人、公共部門和私人部門各自的角色、動機和需求：例如通過對價格關注和更好服務的渴望，個人提供數據和眾包信息，并對隱私和退出權力提出需求;公共部門出于改善服務，提升效益的目的，提供了諸如統計數據、設備信息，健康指標，及稅務和消費信息等，并對隱私和退出權力提出需求;私人部門出于提升客戶認知和預測趨勢目的，提供匯總數據、消費和使用信息，并對敏感數據所有權和商業模式更加關注。白皮書還指出，人們如今可以使用的極大豐富的數據資源，包括舊數據和新數據，來對社會人口進行前所未有的實時分析。聯合國還以愛爾蘭和美國的社交網絡活躍度增長可以作為失業率上升的早期征兆為例，表明政府如果能合理分析所掌握的數據資源，將能“與數俱進”，快速應變。
2012年7月，為挖掘大數據的價值，阿里巴巴集團在管理層設立“首席數據官”一職，負責全面推進“數據分享平臺”戰略，并推出大型的數據分享平臺——“聚石塔”，為天貓、淘寶平臺上的電商及電商服務商等提供數據云服務。隨后，阿里巴巴董事局主席馬云在2012年網商大會上發表演講，稱從2013年1月1日起將轉型重塑平臺、金融和數據三大業務。馬云強調：“假如我們有一個數據預報臺，就像為企業裝上了一個GPS和雷達，你們出海將會更有把握。”因此，阿里巴巴集團希望通過分享和挖掘海量數據，為國家和中小企業提供價值。此舉是國內企業最早把大數據提升到企業管理層高度的一次重大里程碑。阿里巴巴也是最早提出通過數據進行企業數據化運營的企業。
2014年4月，世界經濟論壇以“大數據的回報與風險”主題發布了《全球信息技術報告(第13版)》。報告認為，在未來幾年中針對各種信息通信技術的政策甚至會顯得更加重要。在接下來將對數據保密和網絡管制等議題展開積極討論。全球大數據產業的日趨活躍，技術演進和應用創新的加速發展，使各國政府逐漸認識到大數據在推動經濟發展、改善公共服務，增進人民福祉，乃至保障國家安全方面的重大意義。
2014年5月，美國白宮發布了2014年全球“大數據”白皮書的研究報告《大數據：抓住機遇、守護價值》。報告鼓勵使用數據以推動社會進步，特別是在市場與現有的機構并未以其他方式來支持這種進步的領域;同時，也需要相應的框架、結構與研究，來幫助保護美國人對于保護個人隱私、確保公平或是防止歧視的堅定信仰。
2014年，“大數據”首次出現在當年的《政府工作報告》中。《報告》中指出，要設立新興產業創業創新平臺，在大數據等方面趕超先進，引領未來產業發展。“大數據”旋即成為國內熱議詞匯。
2015年，國務正式印發《促進大數據發展行動綱要》，《綱要》明確，推動大數據發展和應用，在未來5至10年打造精準治理、多方協作的社會治理新模式，建立運行平穩、安全高效的經濟運行新機制，構建以人為本、惠及全民的民生服務新體系，開啟大眾創業、萬眾創新的創新驅動新格局，培育高端智能、新興繁榮的產業發展新生態。標志著大數據正式上升這國家戰略。
2016年10月 探碼科技精準扶貧大數據平臺項目正式啟動。探碼大數據平臺不僅具備動態大數據云存儲;隨時查看幫扶對象信息;貧困信息云定位;大數據動態統計分析四大特色，而且還具備了平臺大數據精準管理，多平臺支持，動態圖表大數據展示，多技術手段，提供貧困戶、村扶貧動態圖片展示，實時全面的系統用戶、角色、機構動態管理，用戶分包聯動協作，支持個性化定制，針對各地不同政策需求量身定制七大優勢。
2016年，大數據“十三五”規劃將出臺，《規劃》已征求了專家意見，并進行了集中討論和修改。《規劃》涉及的內容包括，推動大數據在工業研發、制造、產業鏈全流程各環節的應用;支持服務業利用大數據建立品牌、精準營銷和定制服務等。
京公網安備 11010502049343號