數(shù)據(jù)即資源,互聯(lián)網(wǎng)上,每天新浪微博用戶發(fā)博量超過1億條,百度大約要處理數(shù)十億次搜索請求,淘寶網(wǎng)站的交易達數(shù)千萬筆,聯(lián)通的用戶上網(wǎng)記錄一天達到10TB……,目前正在發(fā)生的一切無不顯示著:大數(shù)據(jù)正在登上時代的舞臺。那么在數(shù)據(jù)為王的時代,國內(nèi)數(shù)據(jù)庫產(chǎn)品是否能占據(jù)一席之地呢?
數(shù)據(jù)庫在國外問世發(fā)展三十余年,已經(jīng)逐漸形成以Oracle、IBM、Microsoft等為代表的強勢壟斷格局。我國傳統(tǒng)國產(chǎn)數(shù)據(jù)庫作為后來者,加上技術上采取跟隨戰(zhàn)略、在事務處理領域頑強拼殺,雖然產(chǎn)品不斷進步、市場應用也不斷取得單點突破,但大多處于非核心應用。盡管政府給予了持續(xù)的大力支持,但在壟斷壁壘和開源軟件左右夾擊下,除了政策性市場之外,很難取得規(guī)模化突破,尚未形成企業(yè)發(fā)展良性循環(huán)和政府支持的雙贏局面。
大數(shù)據(jù)時代的到來,使得傳統(tǒng)數(shù)據(jù)庫在處理百TB以上、特別是PB級數(shù)據(jù)的查詢、統(tǒng)計、分析等應用時,遇到性能上的瓶頸。面對電信、金融、安全、政企等大數(shù)據(jù)量應用,包括電信話單、金融細帳、智能電網(wǎng)、經(jīng)營分析、公安網(wǎng)監(jiān)、輿情監(jiān)控、審計稽查、應急指揮等,用戶體驗往往不可接受。海量數(shù)據(jù)的3V(數(shù)量Volume、速度VelocITy、多樣VarIEty)挑戰(zhàn)著傳統(tǒng)數(shù)據(jù)庫曾經(jīng)非常成功的“一種架構(gòu)支持多類應用”的模式。互聯(lián)網(wǎng)和大數(shù)據(jù)應用的沖擊下,世界數(shù)據(jù)庫格局在發(fā)生革命性的變化,通用數(shù)據(jù)庫(OldSQL)一統(tǒng)天下變成了OldSQL、NewSQL、NoSQL共同支撐多類應用的局面。
大數(shù)據(jù)是信息化的一個嶄新發(fā)展階段,通過分析各種大數(shù)據(jù),人類對知識的認知可以見微知著、集腋成裘、由此及彼,對世界的認知也將更全面、更深入、和更具前瞻性。自2011年5月,EMC和IDC在合作研究“數(shù)字宇宙”五年之后提出“大數(shù)據(jù)”概念以來,“大數(shù)據(jù)經(jīng)濟”的影響力愈發(fā)顯著,谷歌、Facebook競相超過微軟,曾經(jīng)的“軟件為王”讓位于“數(shù)據(jù)為王”。
可以預見,大數(shù)據(jù)時代將引發(fā)大量應用創(chuàng)新,比如,城市大數(shù)據(jù)應用將支撐智慧城市建設,還有智慧教育、智慧醫(yī)療、智慧交通、智慧金融等;各級政府利用大數(shù)據(jù)對經(jīng)濟和社會統(tǒng)計、預測和規(guī)劃,可以提升洞察能力、決策能力和國際競爭力,這將助力我國許多行業(yè)創(chuàng)新轉(zhuǎn)型,是中國發(fā)展中變道超車的重要機遇。
當前美國、英國、加拿大、新西蘭、德國、法國、日本等都在積極推動和布局大數(shù)據(jù)戰(zhàn)略。特別是美國,2012年3月29日奧巴馬政府就宣布實施“大數(shù)據(jù)的研究和發(fā)展計劃”,美國國家科學基金會(NSF)、國家衛(wèi)生研究院(NIH)、國防部(DOD)、能源部(DOE)、國防部高級研究局(DARPA)、地質(zhì)勘探局(USGS)等六個聯(lián)邦部門和機構(gòu)聯(lián)合參與。在我國,多位院士也在積極建言制定大數(shù)據(jù)國家戰(zhàn)略,從國家層面頂層規(guī)劃,實施“專項計劃”,突破關鍵技術,構(gòu)建我國大數(shù)據(jù)良性生態(tài)環(huán)境。中國的數(shù)據(jù)優(yōu)勢在于,不僅有海量網(wǎng)民和互聯(lián)網(wǎng)信息企業(yè),我們省地縣各級政府和單位都已建立了“專業(yè)數(shù)據(jù)庫”和“數(shù)據(jù)中心”。當這些數(shù)據(jù)被打通,當各種“專業(yè)知識服務系統(tǒng)”和智能系統(tǒng)被建立起來,我國大有可能登上大數(shù)據(jù)掌控與應用的戰(zhàn)略制高點。據(jù)預測,2014年中國大數(shù)據(jù)市場將近100億元,并且未來幾年將持續(xù)保持100%以上的高速增長。
因此,集中政府、地方、企業(yè)各方資源,聚焦研發(fā)支撐大數(shù)據(jù)的核心技術和關鍵產(chǎn)品顯得十分急迫:
● 數(shù)據(jù)分析技術、知識計算技術;
● 非結(jié)構(gòu)化數(shù)據(jù)處理技術、新型數(shù)據(jù)庫管理技術;
● 數(shù)據(jù)安全共享技術;
● 可視化技術;
● 等等。
如果說過去二十年,國產(chǎn)數(shù)據(jù)庫廠商缺少生存空間,那么今天大數(shù)據(jù)時代,國產(chǎn)數(shù)據(jù)庫則迎來難得的歷史發(fā)展機遇。以研制承載大數(shù)據(jù)應用的新型數(shù)據(jù)庫為突破口,以數(shù)據(jù)價值密度高的行業(yè)大數(shù)據(jù)為重點,首先聚焦于結(jié)構(gòu)化大數(shù)據(jù)的應用需求,研發(fā)能夠支持企業(yè)級大數(shù)據(jù)分析的列存+MPP數(shù)據(jù)庫集群,達到對百TB至PB級結(jié)構(gòu)化數(shù)據(jù)的分析類應用比傳統(tǒng)數(shù)據(jù)庫快10-100倍的性能指標。接著研發(fā)能夠?qū)Y(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行統(tǒng)一管理和分析的全數(shù)據(jù)處理平臺。逐步形成以國產(chǎn)分析型數(shù)據(jù)庫為核心,聯(lián)合各行業(yè)的數(shù)據(jù)分析類應用開發(fā)和集成廠商建設企業(yè)級大數(shù)據(jù)的綜合分析與展示平臺、商業(yè)智能、運營智能和數(shù)據(jù)輔助的人工智能平臺構(gòu)成的企業(yè)級大數(shù)據(jù)應用產(chǎn)業(yè)鏈。這對于保障國家數(shù)據(jù)安全、突破國產(chǎn)基礎軟件一直以來的被動局面,推動我國軟件產(chǎn)業(yè)發(fā)展都至關重要。