精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

當前位置:大數據業界動態 → 正文

IBM研究院報告①:大數據在現實世界中的應用

責任編輯:editor005 |來源:企業網D1Net  2014-11-20 11:30:49 本文摘自:36大數據

IBM

對于許多人來說不可否認地意味著許多方面,它已經不再局限于技術領域。如今,大數據已成為一項業務上優先考慮的工作任務,因為它能夠對全球整合經濟時代的商務產生深遠的影響。除了為應對長期存在的業務挑戰提供解決方案之外,大數據還為流程、組織、整個行業、甚至社會本身的轉型激發了許多新的方式。然而,媒體的大肆渲染使得炒作與真實難以區分 –到底在發生什么?我們最新的研究發現,企業正將大數據用于以客戶為中心的收益創造、內部數據的探索以及更優秀的信息生態系統的構建。

大數據”一詞已經無處不在,然而,其概念仍然存在混淆。大數據已被用于承載所有類型的概念,包括:巨量的數據、社交媒體分析、下一代數據管理能力、實時數據等。無論是任何種類,企業都已經開始理解并且探索如何以新的方式處理并分析大量的信息。這樣,數量較少但不斷增加的先驅者實現了突破性的業務成果。

在全球的各行各業中,高管都認識到,他們需要更多地了解如何利用大數據。但是,盡管它吸引了媒體的廣泛關注,但從企業正在做的事情中很難發現深層次的信息。

因此,我們試圖更好地了解企業如何看待大數據,以及他們目前在多大程度上使用大數據而使其業務受益。IBM商業價值研究院與牛津大學賽德商學院聯手進行了2012 Big Data @ Work研究,調查了95個國家中的1144名業務和IT專業人員,并采訪了20多名學者、業務主題專家和企業高管。我們發現,63% 近三分之二 的受訪者表示,信息(包括大數據)和分析的使用為其組織創造了競爭優勢。在IBM的2010年新智慧企業全球高管聯合調研中,有此看法的受訪者比例是37% 在短短兩年內增加了70%。

大數據

作為日益擴大的信息與分析市場中越來越重要的一個領域,大數據具有重要的影響。對于在其組織內已經實施大數據試驗項目或者部署項目的受訪者來說,通過信息(包括大數據)和分析而獲得巨大優勢的比例要比僅依賴傳統分析方法的組織比例高15%。

一項令人感到意外的調研結果是,社交媒體對當前的大數據市場的影響相對較小。由于媒體在社交媒體對客戶體驗的影響方面的廣泛報道,我們很容易相信,大數據意味著社交媒體數據,但只有7%的受訪者這樣定義大數據。不到一半的目前正在開展大數據舉措的受訪者認為他們在收集和分析社交媒體數據;相反,其他大部分受訪者告訴我們,他們在當前的大數據項目中使用現有的內部數據源。

那么,當前的大數據活動為何與以前不同?有些組織使用大數據已有多年時間。例如,一家全球電信公司每天從120個不同系統中收集數十億條詳細呼叫記錄,并保存至少九個月時間。一家石油勘探公司分析幾萬億字節的地質數據,而證券交易所每分鐘處理數百萬個交易。對于這些公司,大數據并非一個新概念。

然而,兩個重要趨勢使得大數據時代與之前有顯著的區別:

目前在廣泛行業中幾乎“所有方面”的數字化產生了新型的大量的實時數據。其中,非標準數據占據很大一部分:例如,流數據、地理空間數據或傳感器產生的數據,這些數據并不能完美地適用于傳統的、結構化的、關系型數據倉庫;

當前先進的分析技術和工藝使得各組織能夠以從前無法達到的復雜度、速度和準確度從數據中獲得洞察力。

在各行業和各地區,我們的調研發現,組織對大數據采用了一種務實的方法。最有效的大數據解決方案首先識別業務要求,然后定制基礎架構、數據源和分析方法,以支持業務機會。這些組織從現有的和新的內部信息來源中獲取新的洞察力,制訂大數據技術戰略,然后隨著時間的推移逐步地升級相應的基礎架構。

我們的調研結果為各組織逐步開展大數據舉措以及從大數據中獲取最大的商業價值提供了五項關鍵建議:

以客戶為中心推動初始舉措;

制訂整個企業的大數據藍圖;

從現有數據開始,實現近期目標;

根據業務優先級逐步建立分析能力;

基于可衡量的指標制定業務投資回報分析。

定義大數據

在對大數據的混淆中,很大一部分從大數據的定義開始。為了了解我們的調研受訪者對該術語的定義,我們讓每個受訪者選出大數據的兩個特征。沒有任何一個特征在選擇中具有明確的主導優勢,相反,受訪者對于當前更多的數據、數據和分析的新類型或者對更實時的信息分析的新要求的看法各異(見圖2)。

大數據

這些結果與確定大數據的三個維度的有用方式相一致 – 即“3V”:數量(volume)、多樣性(variety)和速度(velocity)。盡管這些涵蓋大數據本身的關鍵屬性,但我們認為,企業需要考慮一個重要的第四維度:精確性(veracity)。將精確性作為大數據的第四個屬性凸顯了應對與管理某些類型數據中固有的不確定性的重要性(見圖3)。

大數據

  涵蓋這四個維度有助于定義和區分大數據:

數量:數據量。數量也許是與大數據最相關的特征,指企業為了改進企業中的決策而試圖利用的大量數據。數據量持續以前所未有的速度增加。然而,真正造成數據量“巨大”的原因在不同和行業和地區各有不同,而且沒有達到通常引用的PB級(petabyte)和ZB級(zetabyte)。超過一半的受訪者認為數據量達到Terabyte和Petabyte之間才稱為大數據,而30%的受訪者不知道“大”對于其組織應該有多大。所有受訪者都同意,當前被認為“巨大的數量”在將來甚至會更大。

多樣性:不同類型的數據和數據源。多樣性是指管理多種數據類型的復雜性,包括結構化、半結構化和非結構化數據。企業需要整合并分析來自復雜的傳統和非傳統信息源的數據,包括企業內部和外部的數據。隨著傳感器、智能設備和社會協同技術的爆炸性增長,數據的類型無以計數,包括:文本、微博、傳感器數據、音頻、視頻、點擊流、日志文件等。

速度:數據在運動中。數據創建、處理和分析的速度持續在加快。加速的原因是數據創建的實時性天性,以及需要將流數據結合到業務流程和決策過程中的要求。速度影響數據時延 – 從數據創建或獲取到數據可以訪問的時間差。目前,數據以傳統系統不可能達到的速度在產生、獲取、存儲和分析。對于對時間敏感的流程,例如實時欺詐監測或多渠道“即時”營銷,某些類型的數據必須實時地分析,以對業務產生價值。

精確性:數據不確定性。精確性指與某些數據類型相關的可靠性。追求高數據質量是一項重要的大數據要求和挑戰,但是,即使最優秀的數據清理方法也無法消除某些數據固有的不可預測性,例如天氣、經濟或者客戶最終的購買決定。不確定性的確認和規劃的需求是大數據的一個維度,這是隨著高管需要更好地了解圍繞他們身邊的不確定性而引入的維度(參考:“精確性,第四個‘V’”)。

最后,大數據是這些特征的組合,為企業在當前的數字化市場中創造競爭優勢提供了機會。它使企業能夠轉變與客戶交互并滿足客戶需求的方式,并且使企業– 甚至整個行業 – 能夠實現自身的轉型。并非每家企業都采用相同的方法培養其大數據能力。但是,利用新的大數據技術和分析方法改進決策和績效的機會存在于每個行業中。

企業對大數據采取了實用的方法

盡管宣傳鋪天蓋地,但整個市場都同意,我們處于企業大數據采用的初級階段。在本調研中,我們使用“大數據采用”(big data adoption)這個術語表示數據、數據源、技術和技能的自然演進,在全球整合市場中創造競爭優勢。

精確性,第四個“V”

有些數據具有固有的不確定性,例如:人的感情和誠實性;曼哈頓摩天大樓上安裝的GPS傳感器;天氣形勢;經濟因素;以及未來。在處理這些類型的數據時,數據清理無法修正這種不確定性。然而,盡管存在不確定性,數據仍然包含寶貴的信息。確認并接受這種不確定性的需求是大數據的特點。

不確定性在大數據中以多種形式體現。人類環境中創建的數據存在懷疑論,例如社交網絡;對于未來如何呈現以及人、自然或不可見的市場推動力量如何影響世界的多樣性的不可知。

這種不確定性的一個例子是能源制造,但公用事業公司仍然必須預測產量。在許多國家中,監管機構要求一定比例的產量來自可再生資源,而風或云都無法準確預測。那么,您如何做計劃?

要管理不確定性,分析人員需要創建圍繞數據的上下文。實現這一點的一種方式是通過數據融合,即通過結合多個可靠性較低的來源而創建更準確、更有用的數據點,例如與地理空間位置信息相關的社會評論。管理不確定性的另一種方式是通過先進的數學方法,例如魯棒優化技術和模糊邏輯方法。

從本質來講,人類不喜歡不確定性,但簡單地忽略這一點可能產生比不確定性本身更多的問題。在大數據時代,高管需要以不同的方式處理不確定性的各個維度。他們需要承認、接受這一點,并確定如何充分利用這一點;對于不確定性,有一點是確定的,即它不會消失。

對調查反饋進行分析后得出的五個關鍵結論表明,受訪者持有某些相同的、有趣的傾向和看法:

在各個行業中,大數據業務案例強烈集中于滿足以客戶為中心的目標;

可伸縮、可擴展的信息管理基礎是大數據進步的前提;

企業開始利用現有的和新的內部數據源進行試點和實施;

企業要從大數據中獲得最高的價值,需要先進的分析能力,然而,企業通常缺乏這些能力;

隨著企業對大數據的認識和參與度增加,我們看到大數據采用可以分為四個階段。

1. 客戶分析推動大數據舉措

我們讓受訪者列出大數據的三個首要目標,近一半的受訪者認為以客戶為中心的目標是其企業的首要任務(見圖3-圖4)。企業致力于改善客戶體驗,并且更好地了解客戶偏好和行為。在2011年IBM全球首席營銷官調研和2012年IBM全球首席執行官調研中,了解當前的“智慧型消費者”(Empowered Consumer)也被認為具有較高的優先級。

大數據

大數據

企業明確地認為大數據有能力更好地了解和預測客戶行為,并因此改善客戶體驗。交易數據、多渠道交互數據、社交媒體數據、外聯數據(例如來源于忠誠卡)以及其它與客戶相關的數據全面提高了企業了解客戶偏好和需求的能力 – 這是營銷、銷售和客戶服務組織幾十年來追求的目標。

通過更深入地了解,各種類型的企業不斷尋找新的方式與現有客戶和潛在客戶交流。這一原則明確適用于零售業,但同樣也適用于電信、醫療、政府、銀行、金融、涉及最終消費者與市民的消費品,以及合作伙伴和供應商之間的企業對企業的交互。

事實上,大數據可以作為客戶和企業之間的雙向通道。例如,福特福克斯電動車在駕駛和停車時產生大量數據。在行駛中,司機持續地更新車輛的加速度、剎車、電池充電和位置信息。這對于司機很有用,但數據也傳回福特工程師那里,以了解客戶的駕駛習慣,包括如何、何時以及何處充電。 盡管車輛處于靜止狀態,它持續將車輛胎壓和電池系統的數據傳送給最近的智能電話。

大數據可更全面地了解客戶偏好和需求;通過這種深入的了解,所有類型的企業均可以找到新的方式與現有客戶和潛在客戶交互。

這種以客戶為中心的場景具有多方面的好處,因為大數據實現了寶貴的新型協作方式。司機獲得有用的最新信息,而位于底特律的工程師匯總關于駕駛行為的信息,以了解客戶,制訂產品改進計劃。此外,電力公司和其它第三方供應商分析數百萬英里的駕駛數據,以決定在何處建立新的充電站,以及如何防止脆弱的電網超負荷運轉。

全球各地的企業通過大數據更好地滿足客戶的需求,并且改善運作能力。Mcleod Russel India Limited等公司通過更準確地追蹤每年高達1億公斤茶葉的收成、產量和營銷而完全消除了系統停機帶來的不良影響。

高級醫療聯盟使用增強的數據共享和分析技術改進患者的治療,同時將支出降低28.5億美元。Santam通過實施預測分析減少了欺詐,從而改善了客戶體驗(見第8頁左欄:“Santam:預測分析增強了欺詐監測能力,并加快索賠處理”)。

除了實現以客戶為中心的目標,其它功能目標也通過大數據的盡早應用而實現。例如,18%的受訪者認為運營優化是其目標,但其中包括大量實點項目。受訪者經常提到的其它大數據應用包括:風險/財務管理、員工協作和實現新的業務模式。

Santam:預測分析增強了欺詐監測能力,并加快索賠處理

欺詐是全球各地的保險公司面臨的一個切實挑戰。無論是大規模欺詐,例如縱火,或者涉及到較小金額的索賠,例如虛報價格的汽車修理賬單,欺詐索賠的支出每年可使企業支付數百萬美元的費用 – 而且成本會以更高保費的形式轉嫁給客戶。保險公司不斷應對欺詐,但法律訴訟和私人調查等傳統方法不僅費時,而且要支付高昂的費用。

作為南非最大的短期保險提供商,Santam切實感到保險欺詐的嚴重性。欺詐損失占Santam客戶每年保費的6%至10%。欺詐還有另外一個后果 – 運行效率低下。由于代理必須處理并調查高風險和低風險索賠,所有索賠至少需要三天才能解決,而且Santam開始感覺到,公司在客戶服務方面的良好聲譽在客戶希望快速獲得結果的時代受到了損害。

通過采用先進的分析解決方案從收到的索賠中獲取數據,Santam有能力及早發現欺詐,根據已經確定的風險因素評估每個索賠,并且將索賠劃分為五個風險類別 – 將可能的欺詐索賠和更高風險與低風險案例區分開。借助新系統,公司不僅節省了數百萬元的保險欺詐損失,而且顯著縮短了低風險索賠的處理時間,最終使某些客戶的處理在不到一個小時內即可完成。在實施后的前幾個月內,Santam還發現了一個著名的汽車保險欺詐團伙。大數據、預測分析和風險劃分幫助公司識別出了導致欺詐監測的模式。

2. 大數據依賴于可伸縮和可擴展的信息基礎設施

從大數據中實現顯著的、可衡量的業務價值的潛力只有在企業擁有能夠支持快速提高的數據量、多樣性和精確度的信息基礎設施的前提下才能實現。我們讓受訪者指出其大數據基礎設施的現狀。近三分之二的受訪者表示,他們已經采用整合、可伸縮、可擴展且安全的信息基礎開始大數據之旅。在受訪者的大數據舉措中,他們提到最多的是四個信息管理組件(見圖5)。

大數據

信息整合是任何分析項目的關鍵組成要素,對大數據來說,它甚至更加重要。正如在2011年IBM商業價值研究院對高級分析所做的調研,企業的數據必須隨時可被需要數據的人員使用和獲得。

主數據管理和關鍵主題數據的整合 – 客戶、產品、供應商、員工等 – 需要跨企業的數據,這些數據必須根據單一企業標準進行監管。多年來,商業智能面臨的一個挑戰是不能跨組織和部門孤島將數據聯系起來。這種整合對于大數據甚至更加重要,但也更加復雜。在

目前正在開展大數據舉措的受訪者的企業中,65%的受訪者認為他們的整合信息能力不足以支持大數據。在大數據活動中,下一個最常見的信息管理基礎組件是可擴展的存儲基礎設施和高容量數據倉庫。這些組件分別支持目前和將來進入企業的數據的快速增長。

從表面上講,結合增加存儲和增加一個或多個更大服務器的方法可以支持信息管理基礎的增長。然而,預測和設計基礎設施是實現預期業務價值回報的關鍵,了解這一點非常重要。企業需要考慮如何最好地支持數據的增減,使用戶能夠在需要時訪問數據,并考慮如何在業務要求的時間內分析數據(無論是按天、小時、秒還是毫秒)。服務器和存儲的這種平衡配置和部署實現了更加優化的基礎設施。

隨著越來越多的人要求訪問更多不同類型的信息,這些技術通過在整個企業內實現統一的自動化數據移動,也管理著收到的 – 以及存儲的 – 數據。數據分層與壓縮、水平擴展的文件系統以及內存數據庫等新興技術實現了比傳統數據倉庫更的工作負載的管理。對許多企業來說,在管理日益增多的數據方面提高能力是大數據的第一要務,其次是應對日益提高的數據多樣性。(見:“Vestas:更好的數據分析能力降低了成本,并提高了效率”。)

Vestas:更好的數據分析能力降低了成本,并提高了效率

風輪機投資涉及數百萬美元,一般壽命為20-30年。為了確定風輪機的最佳位置,大量與位置相關的因素都必須考慮,包括溫度、降水、風速、濕度和氣壓。

對丹麥風輪機制造商Vestas Wind Systems A/S (Vestas) 來說,用于創建客戶風輪機位置模型的數據分析流程越來越難以獲得滿意的結果;這個流程需要幾星期才能完成執行,而且無法支持大量數據的分析,而客戶認為這對于精確的風輪機部署和電力預測非常必要。

Vestas工程師希望開始使用確切記錄的現有客戶風輪機數據開發自己的預測結果,而不是使用行業模型;公司的挑戰是將數據容量增加到預計的6PB。

通過在世界上最大的超級計算機上使用大數據解決方案以及為了從大量因素(包括結構化和非結構化數據)中獲得洞察力而設計的建模解決方案,公司現在可以幫助其客戶優化風輪機的布局,并因此提高風輪機的性能。

這個新的信息環境使公司能夠通過以前無法實現的方式管理并分析天氣和位置數據,從而獲得洞察力,以改進關于風輪機布局和運行的決策,并且實現了更準確的發電預測。更詳細的模型意味著更高的業務案例確定性、更快獲得結果,以及更高的可預測性和可靠性,這降低了客戶的每千瓦時成本,并且提高了客戶投資回報估計的準確度。這些技術將業務用戶請求的響應時間縮短了大約97% – 從幾星期縮短到幾小時,并且顯著提高了風輪機布局的效率。

58%的企業擁有強大的安全和治理流程,這些受訪者表示,他們目前正在實施大數據舉措。盡管安全和治理長期以來都是商業智能的固有組成部分,但就大數據來講,額外的法律、道德和法規考慮引入了新的風險,并且增加了公眾犯錯的可能性,因為我們已經看到,某些公司已經失去對數據的控制,或者以有問題的方式使用數據。

因此,據多名受訪的業務主題專家和業務高管表示,數據安全 – 尤其是數據隱私 – 是信息管理的一個關鍵部分。隨著企業采用新的信息來源,尤其是社交媒體數據,安全和治理將變得更加重要,而且任務更加艱巨。由于這一挑戰的存在,隱私法規仍在不斷制訂,而且各國可能存在巨大的差異。

一位電信行業高管解釋說:“業界認為隱私和安全很容易,但受到嚴格的監管和關注。”并非只有政府機構在關注,客戶自身也在這樣做。這位高管繼續說:“在許多新的領域 – 例如網絡瀏覽數據,法律和權利之間存在灰色區域。我們已經采取了措施,使用客戶可能認定的標準來評估我們的應對舉動,但凡我們使用數據的方式出現在報紙頭版。”

升級基礎設施相關的成本逐漸提高,這是許多受訪的高管關注的問題。他們認為,高層領導需要可靠且可量化的商業投資回報分析,定義所需增加的投資以及證明并優化信息管理環境成本的機會。成本更低的架構 – 包括云計算、戰略外包和基于價值的定價 – 被認為是正在部署的戰術。然而,有些受訪者認為業務機會能夠補償增加的相關成本,并據此向信息平臺投資。

3. 最初的大數據舉措注重從現有的和新的內部數據源中獲得洞察力

大多數早期的大數據舉措注重獲得并分析內部數據。據我們的調研指出,超過一半的受訪者將內部數據作為企業內大數據的主要來源。這表明企業在采用大數據戰略時采用了實用的方法,同時也表明,有大量未開發的價值仍然隱含在這些內部系統中(見圖6)。

大數據

正如意料的那樣,內部數據是企業內最成熟并且被熟知的數據。這些數據已經通過多年的企業資源計劃、主數據管理、商業智能和其它相關工作而收集、整合、結構化和標準化處理。通過利用分析方法,從客戶交易、交互、事件和電子郵件中獲得的內部數據可以提供寶貴的洞察力(參考:“AutomercadosPlaza’s:通過更強大的洞察力獲得更高收入”)。

Automercados Plaza’s:通過更強大的洞察力獲得更高收入13

Automercados Plaza’s是委內瑞拉的一個家族式食品連鎖店,擁有超過6TB產品和客戶數據,分布在不同系統和數據庫中。因此,公司難以輕松地評估每個商店的運行情況,而且高管知道他們需要從數據中獲得寶貴的洞察力。

Automercados Plaza’s公司CIO JesusRomero說:“在定價、庫存、銷售、配送和銷售方面,我們面臨著嚴重的混亂。我們擁有近2000萬美元的庫存,而且我們追蹤不同系統中的相關信息,并且手動進行編輯。我們需要一個整合的視圖,以確切地了解我們擁有什么。”

通過整合企業內的信息,這家食品連鎖店的收入增加了近30%,年利潤提高了700萬美元。Romero先生將這些成績歸功于更好的庫存管理以及更快適應不斷變化的市場形勢的能力。例如,公司避免了大約35%的產品的損失,因為公司能夠提前安排降價,在食物變質前將易變質的食物銷售出去。

然而,在許多企業中,某些內部數據的大小和范圍(例如詳細的交易數據和運行日志數據)變得過于龐大且過于多樣化,難以在傳統系統中管理。

對于目前開展大數據舉措的企業,近四分之三的受訪者都在分析日志數據。這是“機器或傳感器生成”的數據,用于記錄業務或信息系統內執行的自動功能的詳細信息 – 數據已經超出許多傳統系統的存儲和分析能力。因此,許多數據在收集后并未被分析。

根據我們對高管的采訪得知,目前指導企業開展大數據舉措的許多CIO已經開始利用這些未利用的內部信息源,他們利用了更具擴展能力的基礎架構提供的更高的處理能力。

4. 大數據需要強大的分析能力

大數據只有在用于應對重要的業務挑戰時才能創造價值。這要求獲取更多的不同種類的數據,以及強大的分析能力,包括軟件工具和使用這些工具的必備技能。

通過對開展大數據活動的企業進行考察發現,這些企業首先建立了強大的分析能力,目的是處理結構化數據。然后,它們進一步增強能力,利用進入企業的大量半結構化(可以轉換為標準數據形式的數據)和非結構化(非標準形式的數據)數據。

在開展大數據舉措的企業中,超過75%的受訪者表示,它們使用核心分析能力,例如查詢和報表以及數據挖掘,對大數據進行分析,而超過67%的受訪者表示它們使用預測建模。以這些基礎性的分析能力為出發點是開始解釋和分析大數據的實用方法,尤其是當大數據存儲在關系型數據庫中時。(見圖7)。

對于更多高級數據可視化的能力需求隨著大數據的引入而增加。對業務或數據分析人員來說,數據集通常過大,他們利用傳統報告和數據挖掘工具難以查看和分析這些數據。在我們的調研中,受訪者表示,71%的大數據舉措依賴數據可視化技能。

開展大數據舉措的企業需要越來越多的高級能力,以發現大數據的固有復雜性中的模式。為了做到這一點,受訪者采用優化模型和高級分析技術,更好地了解如何轉變關鍵業務流程。他們使用模擬能力分析大數據中大量變量。我們的調研發現,50%以上的大數據舉措使用了這些先進的建模能力。

當前,大多數企業將初始的大數據分析重心指向結構化數據。但是,大數據也提出了分析多種數據類型的需求,包括對許多企業可能全新的多種數據。在超過一半的大數據舉措中,受訪者表示他們采用先進的能力分析處于自然狀態的文本,例如呼叫中心對話的記錄。這些分析能力包括解釋和理解語言的細微差別,例如感情、俚語和意圖。

掌握分析非結構化數據(例如、地理空間位置數據、語音和視頻)或流數據的能力對大多數企業來說是一個持續的挑戰。在這些領域中,盡管硬件和軟件已經成熟,但技能仍然缺乏。在開展大數據舉措的企業中,不到25%的受訪者表示他們擁有分析高度非結構化數據所需的能力,例如語音和視頻。

大數據的進步要求獲取或者培養這些更先進的技術和分析能力,這已經成為許多正在開展大數據舉措的企業的首要挑戰。在這些企業中,缺乏先進的分析技能是從大數據中獲得最大價值的主要障礙。

大數據

  5. 新興的大數據采用模式注重提供可衡量的業務價值

為了更好地了解大數據形勢,我們讓受訪者描述大數據活動目前在企業中的應用程度。這些結果指出了大數據采用和發展過程中的四個主要階段,我們將其分為:教育、探索、接觸和執行(見圖8)。

教育:建立知識庫(24%的受訪者)

在教育階段,主要核心是意識和知識培養。近25%的受訪者指出,他們的企業尚未使用大數據。盡管有些企業并不了解大數據的主題,但我們的采訪指出,這個階段的大多數企業正在考察大數據技術和分析帶來的潛在收益,并且試圖更好地了解大數據如何幫助在其行業或市場中抓住重要的業務機遇。在這些企業中,主要是由個人進行知識收集,而非正式的工作組,而且他們學到的知識并沒有在企業內使用。因此,大數據的潛力尚未得到業務高管的全面了解和接受。

探索:定義業務投資回報分析和發展路線圖(47%)

探索階段的核心是制訂企業的大數據發展路線圖。近一半的受訪者表示,其企業內對如何利用大數據應對重要的業務挑戰進行了正式的持續討論。這些企業的主要目標包括制訂和量化的業務投資回報分析,并創建大數據藍圖。這一戰略和路線圖考慮了現有數據、技術和技能,然后列出了從何處開始,以及如何制訂與企業的業務戰略相符的計劃。

接觸:擁抱大數據(22%)

在接觸階段,企業開始證明大數據的業務價值,并對其技術和技能進行評估。目前,超過五分之一的受訪者企業在進行概念驗證測試(POC),以確認與實施大數據舉措相關的要求,并且傳達預期回報。這一組的企業正在 – 在既定的受限范圍內 – 努力了解并測試利用新的數據源所需的技術和技能。

大數據

  執行:大規模實施大數據(6%)

在執行階段,大數據和分析能力更廣泛地在企業內應用并實施。然而,僅6%的受訪者表示,他們的企業已經實施了兩個或多個大數據解決方案 – 這是演進到這個階段的門檻。這種處于執行階段的企業數量較少的情況與我們在市場中觀察到的現象一致。重要的是,這些領先企業利用大數據實現業務轉型,并因此從信息資產中獲得最大的價值。隨著企業采用大數據的速度加快 – 在參與階段有22%的受訪者,正在進行POC或試點 – 我們預計處于這個階段的企業比例將在明年翻一番以上。

6. 隨著大數據能力的進展,各階段將發生更多變化

除了五項主要的調研發現外,我們的分析還揭示了與高管支持、數據可用性要求和主要障礙相關的各發展階段的不同模式。這些模式指出了企業發展大數據基礎設施和分析能力需要采取的一系列互相關聯的步驟。

大數據支持

對大數據采用行為的更深層考察指出了不斷變化的支持模式(見圖9)。在我們的樣本中,受訪者表示,超過三分之一的大數據舉措由CIO推動。然而,絕大多數CIO推動的舉措處于早期階段,企業向技術投資,并開始識別業務機會和要求。

隨著企業進入下一個階段,對舉措的支持由業務高管提供 – 特定職能的高管,例如CMO或CFO,甚至是CEO。尤其需要指出的是,這種業務高管注重單個焦點的支持模式被認為是大數據成功的關鍵。

這種模式表明,企業最初可能注重技術,以及建立大數據基礎設施,但隨著它們開始制訂業務投資回報分析和發展路線圖,支持工作轉向一名或多名業務高管。即使如此,CIO和IT組織在執行商定的路線圖時必須繼續扮演重要角色。

數據可用性

如圖10所示,我們看到數據可用性要求如何隨著企業的大數據舉措的成熟而發生顯著改變。通過對受訪者的回答進行分析指出,無論處于大數據采用的哪個階段,企業都面臨著縮短數據時延、提高數據時效性的更高的需求。高管在制訂戰略性的日常業務決策時,似乎越來越多地考慮到及時性數據的價值。數據不再僅僅是輔助支持決策的東西;而是在制訂該決策時的一個業務關鍵要素。

大數據

大數據

我們預計,隨著業務模式的發展,以及企業對流數據、內存分析、機器對機器的處理和其它創新進步技術的投資,對更實時訪問的需求將繼續提高。

關鍵字:ZB大數據

本文摘自:36大數據

x IBM研究院報告①:大數據在現實世界中的應用 掃一掃
分享本文到朋友圈
當前位置:大數據業界動態 → 正文

IBM研究院報告①:大數據在現實世界中的應用

責任編輯:editor005 |來源:企業網D1Net  2014-11-20 11:30:49 本文摘自:36大數據

IBM

對于許多人來說不可否認地意味著許多方面,它已經不再局限于技術領域。如今,大數據已成為一項業務上優先考慮的工作任務,因為它能夠對全球整合經濟時代的商務產生深遠的影響。除了為應對長期存在的業務挑戰提供解決方案之外,大數據還為流程、組織、整個行業、甚至社會本身的轉型激發了許多新的方式。然而,媒體的大肆渲染使得炒作與真實難以區分 –到底在發生什么?我們最新的研究發現,企業正將大數據用于以客戶為中心的收益創造、內部數據的探索以及更優秀的信息生態系統的構建。

大數據”一詞已經無處不在,然而,其概念仍然存在混淆。大數據已被用于承載所有類型的概念,包括:巨量的數據、社交媒體分析、下一代數據管理能力、實時數據等。無論是任何種類,企業都已經開始理解并且探索如何以新的方式處理并分析大量的信息。這樣,數量較少但不斷增加的先驅者實現了突破性的業務成果。

在全球的各行各業中,高管都認識到,他們需要更多地了解如何利用大數據。但是,盡管它吸引了媒體的廣泛關注,但從企業正在做的事情中很難發現深層次的信息。

因此,我們試圖更好地了解企業如何看待大數據,以及他們目前在多大程度上使用大數據而使其業務受益。IBM商業價值研究院與牛津大學賽德商學院聯手進行了2012 Big Data @ Work研究,調查了95個國家中的1144名業務和IT專業人員,并采訪了20多名學者、業務主題專家和企業高管。我們發現,63% 近三分之二 的受訪者表示,信息(包括大數據)和分析的使用為其組織創造了競爭優勢。在IBM的2010年新智慧企業全球高管聯合調研中,有此看法的受訪者比例是37% 在短短兩年內增加了70%。

大數據

作為日益擴大的信息與分析市場中越來越重要的一個領域,大數據具有重要的影響。對于在其組織內已經實施大數據試驗項目或者部署項目的受訪者來說,通過信息(包括大數據)和分析而獲得巨大優勢的比例要比僅依賴傳統分析方法的組織比例高15%。

一項令人感到意外的調研結果是,社交媒體對當前的大數據市場的影響相對較小。由于媒體在社交媒體對客戶體驗的影響方面的廣泛報道,我們很容易相信,大數據意味著社交媒體數據,但只有7%的受訪者這樣定義大數據。不到一半的目前正在開展大數據舉措的受訪者認為他們在收集和分析社交媒體數據;相反,其他大部分受訪者告訴我們,他們在當前的大數據項目中使用現有的內部數據源。

那么,當前的大數據活動為何與以前不同?有些組織使用大數據已有多年時間。例如,一家全球電信公司每天從120個不同系統中收集數十億條詳細呼叫記錄,并保存至少九個月時間。一家石油勘探公司分析幾萬億字節的地質數據,而證券交易所每分鐘處理數百萬個交易。對于這些公司,大數據并非一個新概念。

然而,兩個重要趨勢使得大數據時代與之前有顯著的區別:

目前在廣泛行業中幾乎“所有方面”的數字化產生了新型的大量的實時數據。其中,非標準數據占據很大一部分:例如,流數據、地理空間數據或傳感器產生的數據,這些數據并不能完美地適用于傳統的、結構化的、關系型數據倉庫;

當前先進的分析技術和工藝使得各組織能夠以從前無法達到的復雜度、速度和準確度從數據中獲得洞察力。

在各行業和各地區,我們的調研發現,組織對大數據采用了一種務實的方法。最有效的大數據解決方案首先識別業務要求,然后定制基礎架構、數據源和分析方法,以支持業務機會。這些組織從現有的和新的內部信息來源中獲取新的洞察力,制訂大數據技術戰略,然后隨著時間的推移逐步地升級相應的基礎架構。

我們的調研結果為各組織逐步開展大數據舉措以及從大數據中獲取最大的商業價值提供了五項關鍵建議:

以客戶為中心推動初始舉措;

制訂整個企業的大數據藍圖;

從現有數據開始,實現近期目標;

根據業務優先級逐步建立分析能力;

基于可衡量的指標制定業務投資回報分析。

定義大數據

在對大數據的混淆中,很大一部分從大數據的定義開始。為了了解我們的調研受訪者對該術語的定義,我們讓每個受訪者選出大數據的兩個特征。沒有任何一個特征在選擇中具有明確的主導優勢,相反,受訪者對于當前更多的數據、數據和分析的新類型或者對更實時的信息分析的新要求的看法各異(見圖2)。

大數據

這些結果與確定大數據的三個維度的有用方式相一致 – 即“3V”:數量(volume)、多樣性(variety)和速度(velocity)。盡管這些涵蓋大數據本身的關鍵屬性,但我們認為,企業需要考慮一個重要的第四維度:精確性(veracity)。將精確性作為大數據的第四個屬性凸顯了應對與管理某些類型數據中固有的不確定性的重要性(見圖3)。

大數據

  涵蓋這四個維度有助于定義和區分大數據:

數量:數據量。數量也許是與大數據最相關的特征,指企業為了改進企業中的決策而試圖利用的大量數據。數據量持續以前所未有的速度增加。然而,真正造成數據量“巨大”的原因在不同和行業和地區各有不同,而且沒有達到通常引用的PB級(petabyte)和ZB級(zetabyte)。超過一半的受訪者認為數據量達到Terabyte和Petabyte之間才稱為大數據,而30%的受訪者不知道“大”對于其組織應該有多大。所有受訪者都同意,當前被認為“巨大的數量”在將來甚至會更大。

多樣性:不同類型的數據和數據源。多樣性是指管理多種數據類型的復雜性,包括結構化、半結構化和非結構化數據。企業需要整合并分析來自復雜的傳統和非傳統信息源的數據,包括企業內部和外部的數據。隨著傳感器、智能設備和社會協同技術的爆炸性增長,數據的類型無以計數,包括:文本、微博、傳感器數據、音頻、視頻、點擊流、日志文件等。

速度:數據在運動中。數據創建、處理和分析的速度持續在加快。加速的原因是數據創建的實時性天性,以及需要將流數據結合到業務流程和決策過程中的要求。速度影響數據時延 – 從數據創建或獲取到數據可以訪問的時間差。目前,數據以傳統系統不可能達到的速度在產生、獲取、存儲和分析。對于對時間敏感的流程,例如實時欺詐監測或多渠道“即時”營銷,某些類型的數據必須實時地分析,以對業務產生價值。

精確性:數據不確定性。精確性指與某些數據類型相關的可靠性。追求高數據質量是一項重要的大數據要求和挑戰,但是,即使最優秀的數據清理方法也無法消除某些數據固有的不可預測性,例如天氣、經濟或者客戶最終的購買決定。不確定性的確認和規劃的需求是大數據的一個維度,這是隨著高管需要更好地了解圍繞他們身邊的不確定性而引入的維度(參考:“精確性,第四個‘V’”)。

最后,大數據是這些特征的組合,為企業在當前的數字化市場中創造競爭優勢提供了機會。它使企業能夠轉變與客戶交互并滿足客戶需求的方式,并且使企業– 甚至整個行業 – 能夠實現自身的轉型。并非每家企業都采用相同的方法培養其大數據能力。但是,利用新的大數據技術和分析方法改進決策和績效的機會存在于每個行業中。

企業對大數據采取了實用的方法

盡管宣傳鋪天蓋地,但整個市場都同意,我們處于企業大數據采用的初級階段。在本調研中,我們使用“大數據采用”(big data adoption)這個術語表示數據、數據源、技術和技能的自然演進,在全球整合市場中創造競爭優勢。

精確性,第四個“V”

有些數據具有固有的不確定性,例如:人的感情和誠實性;曼哈頓摩天大樓上安裝的GPS傳感器;天氣形勢;經濟因素;以及未來。在處理這些類型的數據時,數據清理無法修正這種不確定性。然而,盡管存在不確定性,數據仍然包含寶貴的信息。確認并接受這種不確定性的需求是大數據的特點。

不確定性在大數據中以多種形式體現。人類環境中創建的數據存在懷疑論,例如社交網絡;對于未來如何呈現以及人、自然或不可見的市場推動力量如何影響世界的多樣性的不可知。

這種不確定性的一個例子是能源制造,但公用事業公司仍然必須預測產量。在許多國家中,監管機構要求一定比例的產量來自可再生資源,而風或云都無法準確預測。那么,您如何做計劃?

要管理不確定性,分析人員需要創建圍繞數據的上下文。實現這一點的一種方式是通過數據融合,即通過結合多個可靠性較低的來源而創建更準確、更有用的數據點,例如與地理空間位置信息相關的社會評論。管理不確定性的另一種方式是通過先進的數學方法,例如魯棒優化技術和模糊邏輯方法。

從本質來講,人類不喜歡不確定性,但簡單地忽略這一點可能產生比不確定性本身更多的問題。在大數據時代,高管需要以不同的方式處理不確定性的各個維度。他們需要承認、接受這一點,并確定如何充分利用這一點;對于不確定性,有一點是確定的,即它不會消失。

對調查反饋進行分析后得出的五個關鍵結論表明,受訪者持有某些相同的、有趣的傾向和看法:

在各個行業中,大數據業務案例強烈集中于滿足以客戶為中心的目標;

可伸縮、可擴展的信息管理基礎是大數據進步的前提;

企業開始利用現有的和新的內部數據源進行試點和實施;

企業要從大數據中獲得最高的價值,需要先進的分析能力,然而,企業通常缺乏這些能力;

隨著企業對大數據的認識和參與度增加,我們看到大數據采用可以分為四個階段。

1. 客戶分析推動大數據舉措

我們讓受訪者列出大數據的三個首要目標,近一半的受訪者認為以客戶為中心的目標是其企業的首要任務(見圖3-圖4)。企業致力于改善客戶體驗,并且更好地了解客戶偏好和行為。在2011年IBM全球首席營銷官調研和2012年IBM全球首席執行官調研中,了解當前的“智慧型消費者”(Empowered Consumer)也被認為具有較高的優先級。

大數據

大數據

企業明確地認為大數據有能力更好地了解和預測客戶行為,并因此改善客戶體驗。交易數據、多渠道交互數據、社交媒體數據、外聯數據(例如來源于忠誠卡)以及其它與客戶相關的數據全面提高了企業了解客戶偏好和需求的能力 – 這是營銷、銷售和客戶服務組織幾十年來追求的目標。

通過更深入地了解,各種類型的企業不斷尋找新的方式與現有客戶和潛在客戶交流。這一原則明確適用于零售業,但同樣也適用于電信、醫療、政府、銀行、金融、涉及最終消費者與市民的消費品,以及合作伙伴和供應商之間的企業對企業的交互。

事實上,大數據可以作為客戶和企業之間的雙向通道。例如,福特福克斯電動車在駕駛和停車時產生大量數據。在行駛中,司機持續地更新車輛的加速度、剎車、電池充電和位置信息。這對于司機很有用,但數據也傳回福特工程師那里,以了解客戶的駕駛習慣,包括如何、何時以及何處充電。 盡管車輛處于靜止狀態,它持續將車輛胎壓和電池系統的數據傳送給最近的智能電話。

大數據可更全面地了解客戶偏好和需求;通過這種深入的了解,所有類型的企業均可以找到新的方式與現有客戶和潛在客戶交互。

這種以客戶為中心的場景具有多方面的好處,因為大數據實現了寶貴的新型協作方式。司機獲得有用的最新信息,而位于底特律的工程師匯總關于駕駛行為的信息,以了解客戶,制訂產品改進計劃。此外,電力公司和其它第三方供應商分析數百萬英里的駕駛數據,以決定在何處建立新的充電站,以及如何防止脆弱的電網超負荷運轉。

全球各地的企業通過大數據更好地滿足客戶的需求,并且改善運作能力。Mcleod Russel India Limited等公司通過更準確地追蹤每年高達1億公斤茶葉的收成、產量和營銷而完全消除了系統停機帶來的不良影響。

高級醫療聯盟使用增強的數據共享和分析技術改進患者的治療,同時將支出降低28.5億美元。Santam通過實施預測分析減少了欺詐,從而改善了客戶體驗(見第8頁左欄:“Santam:預測分析增強了欺詐監測能力,并加快索賠處理”)。

除了實現以客戶為中心的目標,其它功能目標也通過大數據的盡早應用而實現。例如,18%的受訪者認為運營優化是其目標,但其中包括大量實點項目。受訪者經常提到的其它大數據應用包括:風險/財務管理、員工協作和實現新的業務模式。

Santam:預測分析增強了欺詐監測能力,并加快索賠處理

欺詐是全球各地的保險公司面臨的一個切實挑戰。無論是大規模欺詐,例如縱火,或者涉及到較小金額的索賠,例如虛報價格的汽車修理賬單,欺詐索賠的支出每年可使企業支付數百萬美元的費用 – 而且成本會以更高保費的形式轉嫁給客戶。保險公司不斷應對欺詐,但法律訴訟和私人調查等傳統方法不僅費時,而且要支付高昂的費用。

作為南非最大的短期保險提供商,Santam切實感到保險欺詐的嚴重性。欺詐損失占Santam客戶每年保費的6%至10%。欺詐還有另外一個后果 – 運行效率低下。由于代理必須處理并調查高風險和低風險索賠,所有索賠至少需要三天才能解決,而且Santam開始感覺到,公司在客戶服務方面的良好聲譽在客戶希望快速獲得結果的時代受到了損害。

通過采用先進的分析解決方案從收到的索賠中獲取數據,Santam有能力及早發現欺詐,根據已經確定的風險因素評估每個索賠,并且將索賠劃分為五個風險類別 – 將可能的欺詐索賠和更高風險與低風險案例區分開。借助新系統,公司不僅節省了數百萬元的保險欺詐損失,而且顯著縮短了低風險索賠的處理時間,最終使某些客戶的處理在不到一個小時內即可完成。在實施后的前幾個月內,Santam還發現了一個著名的汽車保險欺詐團伙。大數據、預測分析和風險劃分幫助公司識別出了導致欺詐監測的模式。

2. 大數據依賴于可伸縮和可擴展的信息基礎設施

從大數據中實現顯著的、可衡量的業務價值的潛力只有在企業擁有能夠支持快速提高的數據量、多樣性和精確度的信息基礎設施的前提下才能實現。我們讓受訪者指出其大數據基礎設施的現狀。近三分之二的受訪者表示,他們已經采用整合、可伸縮、可擴展且安全的信息基礎開始大數據之旅。在受訪者的大數據舉措中,他們提到最多的是四個信息管理組件(見圖5)。

大數據

信息整合是任何分析項目的關鍵組成要素,對大數據來說,它甚至更加重要。正如在2011年IBM商業價值研究院對高級分析所做的調研,企業的數據必須隨時可被需要數據的人員使用和獲得。

主數據管理和關鍵主題數據的整合 – 客戶、產品、供應商、員工等 – 需要跨企業的數據,這些數據必須根據單一企業標準進行監管。多年來,商業智能面臨的一個挑戰是不能跨組織和部門孤島將數據聯系起來。這種整合對于大數據甚至更加重要,但也更加復雜。在

目前正在開展大數據舉措的受訪者的企業中,65%的受訪者認為他們的整合信息能力不足以支持大數據。在大數據活動中,下一個最常見的信息管理基礎組件是可擴展的存儲基礎設施和高容量數據倉庫。這些組件分別支持目前和將來進入企業的數據的快速增長。

從表面上講,結合增加存儲和增加一個或多個更大服務器的方法可以支持信息管理基礎的增長。然而,預測和設計基礎設施是實現預期業務價值回報的關鍵,了解這一點非常重要。企業需要考慮如何最好地支持數據的增減,使用戶能夠在需要時訪問數據,并考慮如何在業務要求的時間內分析數據(無論是按天、小時、秒還是毫秒)。服務器和存儲的這種平衡配置和部署實現了更加優化的基礎設施。

隨著越來越多的人要求訪問更多不同類型的信息,這些技術通過在整個企業內實現統一的自動化數據移動,也管理著收到的 – 以及存儲的 – 數據。數據分層與壓縮、水平擴展的文件系統以及內存數據庫等新興技術實現了比傳統數據倉庫更的工作負載的管理。對許多企業來說,在管理日益增多的數據方面提高能力是大數據的第一要務,其次是應對日益提高的數據多樣性。(見:“Vestas:更好的數據分析能力降低了成本,并提高了效率”。)

Vestas:更好的數據分析能力降低了成本,并提高了效率

風輪機投資涉及數百萬美元,一般壽命為20-30年。為了確定風輪機的最佳位置,大量與位置相關的因素都必須考慮,包括溫度、降水、風速、濕度和氣壓。

對丹麥風輪機制造商Vestas Wind Systems A/S (Vestas) 來說,用于創建客戶風輪機位置模型的數據分析流程越來越難以獲得滿意的結果;這個流程需要幾星期才能完成執行,而且無法支持大量數據的分析,而客戶認為這對于精確的風輪機部署和電力預測非常必要。

Vestas工程師希望開始使用確切記錄的現有客戶風輪機數據開發自己的預測結果,而不是使用行業模型;公司的挑戰是將數據容量增加到預計的6PB。

通過在世界上最大的超級計算機上使用大數據解決方案以及為了從大量因素(包括結構化和非結構化數據)中獲得洞察力而設計的建模解決方案,公司現在可以幫助其客戶優化風輪機的布局,并因此提高風輪機的性能。

這個新的信息環境使公司能夠通過以前無法實現的方式管理并分析天氣和位置數據,從而獲得洞察力,以改進關于風輪機布局和運行的決策,并且實現了更準確的發電預測。更詳細的模型意味著更高的業務案例確定性、更快獲得結果,以及更高的可預測性和可靠性,這降低了客戶的每千瓦時成本,并且提高了客戶投資回報估計的準確度。這些技術將業務用戶請求的響應時間縮短了大約97% – 從幾星期縮短到幾小時,并且顯著提高了風輪機布局的效率。

58%的企業擁有強大的安全和治理流程,這些受訪者表示,他們目前正在實施大數據舉措。盡管安全和治理長期以來都是商業智能的固有組成部分,但就大數據來講,額外的法律、道德和法規考慮引入了新的風險,并且增加了公眾犯錯的可能性,因為我們已經看到,某些公司已經失去對數據的控制,或者以有問題的方式使用數據。

因此,據多名受訪的業務主題專家和業務高管表示,數據安全 – 尤其是數據隱私 – 是信息管理的一個關鍵部分。隨著企業采用新的信息來源,尤其是社交媒體數據,安全和治理將變得更加重要,而且任務更加艱巨。由于這一挑戰的存在,隱私法規仍在不斷制訂,而且各國可能存在巨大的差異。

一位電信行業高管解釋說:“業界認為隱私和安全很容易,但受到嚴格的監管和關注。”并非只有政府機構在關注,客戶自身也在這樣做。這位高管繼續說:“在許多新的領域 – 例如網絡瀏覽數據,法律和權利之間存在灰色區域。我們已經采取了措施,使用客戶可能認定的標準來評估我們的應對舉動,但凡我們使用數據的方式出現在報紙頭版。”

升級基礎設施相關的成本逐漸提高,這是許多受訪的高管關注的問題。他們認為,高層領導需要可靠且可量化的商業投資回報分析,定義所需增加的投資以及證明并優化信息管理環境成本的機會。成本更低的架構 – 包括云計算、戰略外包和基于價值的定價 – 被認為是正在部署的戰術。然而,有些受訪者認為業務機會能夠補償增加的相關成本,并據此向信息平臺投資。

3. 最初的大數據舉措注重從現有的和新的內部數據源中獲得洞察力

大多數早期的大數據舉措注重獲得并分析內部數據。據我們的調研指出,超過一半的受訪者將內部數據作為企業內大數據的主要來源。這表明企業在采用大數據戰略時采用了實用的方法,同時也表明,有大量未開發的價值仍然隱含在這些內部系統中(見圖6)。

大數據

正如意料的那樣,內部數據是企業內最成熟并且被熟知的數據。這些數據已經通過多年的企業資源計劃、主數據管理、商業智能和其它相關工作而收集、整合、結構化和標準化處理。通過利用分析方法,從客戶交易、交互、事件和電子郵件中獲得的內部數據可以提供寶貴的洞察力(參考:“AutomercadosPlaza’s:通過更強大的洞察力獲得更高收入”)。

Automercados Plaza’s:通過更強大的洞察力獲得更高收入13

Automercados Plaza’s是委內瑞拉的一個家族式食品連鎖店,擁有超過6TB產品和客戶數據,分布在不同系統和數據庫中。因此,公司難以輕松地評估每個商店的運行情況,而且高管知道他們需要從數據中獲得寶貴的洞察力。

Automercados Plaza’s公司CIO JesusRomero說:“在定價、庫存、銷售、配送和銷售方面,我們面臨著嚴重的混亂。我們擁有近2000萬美元的庫存,而且我們追蹤不同系統中的相關信息,并且手動進行編輯。我們需要一個整合的視圖,以確切地了解我們擁有什么。”

通過整合企業內的信息,這家食品連鎖店的收入增加了近30%,年利潤提高了700萬美元。Romero先生將這些成績歸功于更好的庫存管理以及更快適應不斷變化的市場形勢的能力。例如,公司避免了大約35%的產品的損失,因為公司能夠提前安排降價,在食物變質前將易變質的食物銷售出去。

然而,在許多企業中,某些內部數據的大小和范圍(例如詳細的交易數據和運行日志數據)變得過于龐大且過于多樣化,難以在傳統系統中管理。

對于目前開展大數據舉措的企業,近四分之三的受訪者都在分析日志數據。這是“機器或傳感器生成”的數據,用于記錄業務或信息系統內執行的自動功能的詳細信息 – 數據已經超出許多傳統系統的存儲和分析能力。因此,許多數據在收集后并未被分析。

根據我們對高管的采訪得知,目前指導企業開展大數據舉措的許多CIO已經開始利用這些未利用的內部信息源,他們利用了更具擴展能力的基礎架構提供的更高的處理能力。

4. 大數據需要強大的分析能力

大數據只有在用于應對重要的業務挑戰時才能創造價值。這要求獲取更多的不同種類的數據,以及強大的分析能力,包括軟件工具和使用這些工具的必備技能。

通過對開展大數據活動的企業進行考察發現,這些企業首先建立了強大的分析能力,目的是處理結構化數據。然后,它們進一步增強能力,利用進入企業的大量半結構化(可以轉換為標準數據形式的數據)和非結構化(非標準形式的數據)數據。

在開展大數據舉措的企業中,超過75%的受訪者表示,它們使用核心分析能力,例如查詢和報表以及數據挖掘,對大數據進行分析,而超過67%的受訪者表示它們使用預測建模。以這些基礎性的分析能力為出發點是開始解釋和分析大數據的實用方法,尤其是當大數據存儲在關系型數據庫中時。(見圖7)。

對于更多高級數據可視化的能力需求隨著大數據的引入而增加。對業務或數據分析人員來說,數據集通常過大,他們利用傳統報告和數據挖掘工具難以查看和分析這些數據。在我們的調研中,受訪者表示,71%的大數據舉措依賴數據可視化技能。

開展大數據舉措的企業需要越來越多的高級能力,以發現大數據的固有復雜性中的模式。為了做到這一點,受訪者采用優化模型和高級分析技術,更好地了解如何轉變關鍵業務流程。他們使用模擬能力分析大數據中大量變量。我們的調研發現,50%以上的大數據舉措使用了這些先進的建模能力。

當前,大多數企業將初始的大數據分析重心指向結構化數據。但是,大數據也提出了分析多種數據類型的需求,包括對許多企業可能全新的多種數據。在超過一半的大數據舉措中,受訪者表示他們采用先進的能力分析處于自然狀態的文本,例如呼叫中心對話的記錄。這些分析能力包括解釋和理解語言的細微差別,例如感情、俚語和意圖。

掌握分析非結構化數據(例如、地理空間位置數據、語音和視頻)或流數據的能力對大多數企業來說是一個持續的挑戰。在這些領域中,盡管硬件和軟件已經成熟,但技能仍然缺乏。在開展大數據舉措的企業中,不到25%的受訪者表示他們擁有分析高度非結構化數據所需的能力,例如語音和視頻。

大數據的進步要求獲取或者培養這些更先進的技術和分析能力,這已經成為許多正在開展大數據舉措的企業的首要挑戰。在這些企業中,缺乏先進的分析技能是從大數據中獲得最大價值的主要障礙。

大數據

  5. 新興的大數據采用模式注重提供可衡量的業務價值

為了更好地了解大數據形勢,我們讓受訪者描述大數據活動目前在企業中的應用程度。這些結果指出了大數據采用和發展過程中的四個主要階段,我們將其分為:教育、探索、接觸和執行(見圖8)。

教育:建立知識庫(24%的受訪者)

在教育階段,主要核心是意識和知識培養。近25%的受訪者指出,他們的企業尚未使用大數據。盡管有些企業并不了解大數據的主題,但我們的采訪指出,這個階段的大多數企業正在考察大數據技術和分析帶來的潛在收益,并且試圖更好地了解大數據如何幫助在其行業或市場中抓住重要的業務機遇。在這些企業中,主要是由個人進行知識收集,而非正式的工作組,而且他們學到的知識并沒有在企業內使用。因此,大數據的潛力尚未得到業務高管的全面了解和接受。

探索:定義業務投資回報分析和發展路線圖(47%)

探索階段的核心是制訂企業的大數據發展路線圖。近一半的受訪者表示,其企業內對如何利用大數據應對重要的業務挑戰進行了正式的持續討論。這些企業的主要目標包括制訂和量化的業務投資回報分析,并創建大數據藍圖。這一戰略和路線圖考慮了現有數據、技術和技能,然后列出了從何處開始,以及如何制訂與企業的業務戰略相符的計劃。

接觸:擁抱大數據(22%)

在接觸階段,企業開始證明大數據的業務價值,并對其技術和技能進行評估。目前,超過五分之一的受訪者企業在進行概念驗證測試(POC),以確認與實施大數據舉措相關的要求,并且傳達預期回報。這一組的企業正在 – 在既定的受限范圍內 – 努力了解并測試利用新的數據源所需的技術和技能。

大數據

  執行:大規模實施大數據(6%)

在執行階段,大數據和分析能力更廣泛地在企業內應用并實施。然而,僅6%的受訪者表示,他們的企業已經實施了兩個或多個大數據解決方案 – 這是演進到這個階段的門檻。這種處于執行階段的企業數量較少的情況與我們在市場中觀察到的現象一致。重要的是,這些領先企業利用大數據實現業務轉型,并因此從信息資產中獲得最大的價值。隨著企業采用大數據的速度加快 – 在參與階段有22%的受訪者,正在進行POC或試點 – 我們預計處于這個階段的企業比例將在明年翻一番以上。

6. 隨著大數據能力的進展,各階段將發生更多變化

除了五項主要的調研發現外,我們的分析還揭示了與高管支持、數據可用性要求和主要障礙相關的各發展階段的不同模式。這些模式指出了企業發展大數據基礎設施和分析能力需要采取的一系列互相關聯的步驟。

大數據支持

對大數據采用行為的更深層考察指出了不斷變化的支持模式(見圖9)。在我們的樣本中,受訪者表示,超過三分之一的大數據舉措由CIO推動。然而,絕大多數CIO推動的舉措處于早期階段,企業向技術投資,并開始識別業務機會和要求。

隨著企業進入下一個階段,對舉措的支持由業務高管提供 – 特定職能的高管,例如CMO或CFO,甚至是CEO。尤其需要指出的是,這種業務高管注重單個焦點的支持模式被認為是大數據成功的關鍵。

這種模式表明,企業最初可能注重技術,以及建立大數據基礎設施,但隨著它們開始制訂業務投資回報分析和發展路線圖,支持工作轉向一名或多名業務高管。即使如此,CIO和IT組織在執行商定的路線圖時必須繼續扮演重要角色。

數據可用性

如圖10所示,我們看到數據可用性要求如何隨著企業的大數據舉措的成熟而發生顯著改變。通過對受訪者的回答進行分析指出,無論處于大數據采用的哪個階段,企業都面臨著縮短數據時延、提高數據時效性的更高的需求。高管在制訂戰略性的日常業務決策時,似乎越來越多地考慮到及時性數據的價值。數據不再僅僅是輔助支持決策的東西;而是在制訂該決策時的一個業務關鍵要素。

大數據

大數據

我們預計,隨著業務模式的發展,以及企業對流數據、內存分析、機器對機器的處理和其它創新進步技術的投資,對更實時訪問的需求將繼續提高。

關鍵字:ZB大數據

本文摘自:36大數據

電子周刊
回到頂部

關于我們聯系我們版權聲明隱私條款廣告服務友情鏈接投稿中心招賢納士

企業網版權所有 ©2010-2024 京ICP備09108050號-6 京公網安備 11010502049343號

^
  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 灌云县| 瓦房店市| 佛坪县| 莒南县| 外汇| 邵武市| 安丘市| 政和县| 曲阜市| 长葛市| 明光市| 永春县| 禄丰县| 永安市| 蓬溪县| 巴里| 广安市| 南宁市| 勐海县| 静海县| 平遥县| 高平市| 湟源县| 日喀则市| 瑞丽市| 大冶市| 五原县| 太白县| 沙坪坝区| 百色市| 新民市| 安岳县| 潞城市| 惠水县| 右玉县| 陈巴尔虎旗| 富源县| 息烽县| 英德市| 新巴尔虎右旗| 西乌|