2009年,H1N1流感肆虐全球,由于缺少有效的疫苗,監測流感的傳播路徑并預測未來的感染地域成為對抗這場致命流行病的關鍵。在傳統的運營模式下,公共衛生部門需要一兩周的時間才能獲得新病例的相關數據,而就在這種分秒必爭的時刻,谷歌通過對相關數據進行分析和建模,幫助公共衛生機構獲得了更有效、及時的疾病傳播指標。
值得人們注意的是,在這場對抗流行病的戰役中,所采用的手段已完全繞開醫療檢測和醫師診斷--它建立于大數據分析的基礎之上。作為近年來炙手可熱的技術概念之一,大數據通過前所未有的方式,對海量數據進行分析,并獲得深刻的洞見。利用大數據,全球頂尖的智能信息提供商湯森路透可以經濟高效地采集客戶活動信息,追蹤銷售機會;豐田汽車能夠實現多渠道與客戶互動,提升消費體驗;Regions 銀行降低了IT成本;日本軟銀集團可以探索客戶的隱藏想法,解釋和預測客戶行為;美國國家癌癥研究所得以確定基因與癌癥之間的交互關系,深入了解疾病根源……如此種種,大數據正將人們的生活飛速帶入未來世界。
根據IDC發布的研究報告,2020年,全球新建和復制的信息量已經超過 40ZB,是2012年的12倍;而中國的數據量則會在2020年超過8ZB,比2012年增長22倍。快速膨脹的數據量促進了大數據技術和服務市場的繁榮發展。研究機構Wikibon也指出,大數據技術和服務市場規模將會從2012年的51億美元增加到2017年的534億美元,未來5年的復合增長率更是高達58%。大數據的飛速發展與深化,無疑會為商業與生活帶來方方面面的改變。
全面解析大數據生命周期
談及大數據,不得不提及經典的大數據4V,即數據體量巨大(Volume)、數據類型繁多(Variety)、處理速度快(Velocity)與商業價值高(Value)。的確如此,能給企業帶來洞察與價值的大數據技術,需要具備快速分析全部類型的海量數據的能力。而隨著大數據應用場景的不斷拓展,數據的類型也在由結構化拓展至半結構化和非結構化數據,尤其是來自社交網絡的碎片信息,正受到企業極大的關注。為了得到全面、透徹、完善的市場洞察,大數據應完全覆蓋傳統數據、非結構化數據、流式數據和快數據,共同為企業構建全數據視圖,提供全面的信息支撐
盡管如今已有諸多大數據技術手段,諸如分布式計算、并行處理、實時計算、數據可視化、高級分析以及移動商務智能,企業在走向大數據時仍然面臨諸多挑戰。如何跨越數據"孤島",及時獲得精準的數據,進而指導企業做出最佳決策并付諸行動,成為企業在大數據領域亟待解決的問題。任何數據,都需要經過獲取、存儲、處理、分析和利用五大過程,才能最終和業務有效關聯,成為切實指導決策與行動的信息要素。圍繞這五大過程,大數據可在全生命周期中為企業提供支持。
在最初的數據獲取和發掘階段,企業需要解決的是如何通過數據搜索與可視化,更快地解答有關業務的諸多問題;在數據分析階段,企業需要良好的平臺和性能,支撐隨時隨地的實施數據分析,監測數據異常與趨勢,進一步得出洞見;在最終的規劃與預測層面,企業則需結合歷史與統計數據,搭建預測模型,最大化預測的精準度,在戰略管理以及人財物為決策者提供建議。
多平臺共存 大數據由概念轉入實踐
提到大數據的處理,很多人會首先想到Hadoop。的確,作為被廣泛采用的分布式系統基礎架構,Hadoop可以實現可靠、高效、可伸縮的數據處理。尤其是其開源、初期投入低的特性,加之當今的企業希望以更快的速度獲取更多非結構化數據,Hadoop乃至NoSQL數據庫在短時間內都獲得了極大的發展。在此之前,即便企業渴望利用大數據,獲取海量數據并進行實時分析的高昂成本也令人望而卻步。可以說,Hadoop和NoSQL的出現大大改變了數據應用的現狀。
然而,企業已經意識到Hadoop并不是大數據的代名詞,主流的SQL關系型數據庫正在回歸大數據主流世界并在大數據處理和分析領域繼續發揮重要的作用,極大程度上完善了大數據的生態環境。由于Hadoop、NoSQL和SQL的共存與融合,大數據技術在成熟度方面將邁入全新的一步。隨著內存、移動以及虛擬化技術的不斷發展,大數據也正在從一個無形的概念逐漸走向落地實踐。在中國,從互聯網企業,到電信、金融、政府這樣的傳統行業,都已開始采用各種大數據分析和服務,幫助企業聆聽客戶之聲、品牌傳播、市場優化、風險分析、優化決策等方面。
全方位Oracle解決方案 助企業決勝大數據
甲骨文公司堅持全面、開放、集成的產品策略,可以為企業提供全方位的大數據解決方案。Oracle大數據機、Oracle Exadata數據庫云服務器、Oracle Exalytics商務智能云服務器以及Oracle Endeca Information Discovery,依托于ERP/CRM等關鍵企業管理系統的商務智能軟件一起組成了甲骨文最廣泛、高度集成化產品組合,為企業提供了一個端到端的大數據解決方案。它可滿足企業對大數據治理的所有需求,幫助客戶進一步提升數據處理效率、簡化管理并洞察數據的內在本質,從而最大限度地挖掘數據的商業價值。
Oracle大數據機是一款集成設計的系統,旨在簡化大數據項目的實施與管理,降低企業大數據獲取與組織的復雜性。近期,Oracle大數據機新增強了面向Hadoop的企業級安全功能,可以幫助企業保護數據安全、迅速把握具有戰略意義的業務動向。藉此,通過Oracle統一信息架構,客戶可以輕松經濟地整合Hadoop和NoSQL平臺與數據倉庫和商務分析解決方案,以最大限度地利用大數據的價值。日前新推出的Oracle大數據機X4-2與Oracle大數據連接器和Oracle Exadata數據庫云服務器組成了面向大數據的集成平臺,幫助企業輕松實現結構化數據和非結構數據的融合。
Oracle 大數據連接器是一套內置軟件,旨在實現 Apache Hadoop與Oracle數據庫、Oracle數據集成器以及Oracle R 分區之間的集成。增強的Oracle大數據連接器,提升了數據集成功能,可以更大地支持SQL語言從Oracle數據庫直接訪問Hadoop上的數據,并能更透明地訪問來自R分區的Hadoop。
Oracle Exadata數據庫云服務器提供了高效數據存儲和計算能力,并且配備了超大容量的內存和快速Flash,配合特有的軟硬優化技術,從而可以對大數據進行高效的數據加工、分析和挖掘。憑借其最快的數據倉庫和OLTP,Oracle Exadata可使數據的加載和查詢時間加快10倍,存儲容量節省10倍 ,功率降低80% ,占用空間大大減少,并能通過整合降低數據中心成本。
Oracle Exalytics商務智能云服務器采用業界標準硬件、市場領先的商務智能軟件和內存數據庫技術而開發,可以通過超高帶寬的infiniband網絡從Oracle Exadata上加載和讀取數據。它是全球首款專門為提供高性能分析、建模、發現和規劃而設計的集成系統,能夠以快捷的速度、智能性和簡化性幫助企業應對各種挑戰。此外, Oracle Endeca Information Discover針對 Oracle Exalytics進行了優化和認證,可以快速、直觀地分析任意來源組合產生的數據。
Oracle Endeca Information Discovery 是一個企業信息探索利器,用于對多維多變的數據進行高級、直觀的探索和關聯分析。信息從不同的源系統加載,存儲在可動態支持變化數據的分面數據模型中。這些集成、豐富的數據可通過交互式和可配置的應用程序進行搜索、挖掘和分析。Oracle Endeca Information Discovery 采用迭代式"隨需建模"方法,不僅能讓 IT 從繁重的傳統數據建模工作中解脫出來,同時還能滿足業務用戶廣泛的探索和分析需求,讓業務人員對大數據的興趣直接通過信息探索轉變為業務價值。
Oracle事件處理是Oracle SOA套件的一部分,用于構建應用的完整解決方案,以便實時篩選、關聯和處理各個事件,從而通過真正實時的智能來驅動下游應用、面向服務的架構和事件驅動的架構。
Oracle實時決策是一種高度可擴展的服務導向型決策管理平臺,可實現決策優化。它利用實時和歷史數據、業務規則、預測模型、自動化以及自助學習技術,提供隨時間推移不斷調整的實時決策。其決策服務可嵌入到企業內部的交易應用中,以優化重復發生的運營決策成效。
R語言:在分析大數據時,企業需要訪問所有數據,使用R語言進行統計分析,但通過便攜機進行分析速度較慢且不安全。甲骨文提供的Oracle R Enterprise實現了R開源統計環境與Oracle Database11g的集成, 為進行更進一步的數據分析提供了一個企業就緒的、深度集成的環境。
卓越性能贏得客戶高度認可
憑借全面、軟硬一體化、高性能和高性價比的突出特點,目前,Oracle大數據解決方案已獲得眾多企業用戶的支持,前文所提及的湯森路透、豐田汽車、Regions 銀行、美國國家癌癥研究所等等,都通過部署Oracle大數據解決方案,簡化了IT架構,達成了更好的業務目標。
由美國國家癌癥研究所(NCI)資助的Frederick國家圖書館,借助Oracle大數據機及其Apache Hadoop(CDH)Cloudera分區,實現了 2000萬生物樣本間進行17000個基因與五大癌癥亞型的關系對照檢索,從而贏得了2012 年政府大數據解決方案獎。
全球知名的汽車工業公司豐田汽車通過采用Oracle 大數據機、Oracle大數據連接器和Oracle Endeca Information Discover等產品,能夠更好的利用下一代車輛遙測技術預測組件故障,并發現組件故障之間的相互關聯。同時它借助社交媒體、市場調查和與經銷商的互動,進一步提升了客戶好感度,改善了用戶體驗。
如何正確的利用數據對于湯森路透這樣的智能信息提供商來講顯得至關重要。通過Oracle大數據解決方案,湯森路透能夠更加經濟的采集所有客戶活動的信息,并以5000萬個事件/秒的攝取率,測試進入大數據機和Oracle NoSQL數據庫的數據,同時向Oracle Exadata饋送數據,以方便客戶進行盈利和分段分析。Oracle大數據解決方案的部署幫助湯森路透實現了最大限度地增加交叉銷售的機會,并降低運維成本和系統復雜性。
甲骨文公司副總裁及大中華區技術總經理喻思成表示:"大數據已經和云計算、社交化、移動化一起,深入人們生活的方方面面,也成為現階段驅動企業IT模式變革的重要因素。Oracle大數據解決方案可以橫跨IT架構的所有層面,與其他產品進行創新集成,能給企業提供卓越的可靠性、可擴展性和可管理性,幫助企業在未來的競爭中立于不敗之地。"