包括社交媒體、移動端和云計算在內(nèi)，分析技術(shù)和相關(guān)數(shù)據(jù)技術(shù)已成為數(shù)字時代核心業(yè)務(wù)的顛覆者。隨著2017年企業(yè)開始從數(shù)據(jù)生成組織轉(zhuǎn)向數(shù)據(jù)驅(qū)動組織，數(shù)據(jù)和分析已成為許多企業(yè)的工作重心。在2018年，這些技術(shù)需要開始實現(xiàn)其價值。以下是在未來一年將推動數(shù)據(jù)分析戰(zhàn)略發(fā)展的一些方法、崗位角色和關(guān)注點。
數(shù)據(jù)湖需要體現(xiàn)其商業(yè)價值，否則死路一條
多年來，數(shù)據(jù)已經(jīng)在企業(yè)中不斷快速地積累。物聯(lián)網(wǎng)(IoT)只會隨著數(shù)據(jù)源從網(wǎng)絡(luò)端轉(zhuǎn)移到移動端或設(shè)備端過程中加速數(shù)據(jù)的生成。
“這實際上迫切需要以具有成本效益的方式擴展數(shù)據(jù)管道，”實時流數(shù)據(jù)平臺提供商DataTorrent首席執(zhí)行官Guy Churchward說。
對于許多企業(yè)來說，如果使用像Apache Hadoop這樣的技術(shù)為其提供業(yè)務(wù)支持，那么答案就是創(chuàng)建數(shù)據(jù)湖，即建立企業(yè)范圍的數(shù)據(jù)管理平臺，用來以本機格式存儲企業(yè)的所有數(shù)據(jù)。數(shù)據(jù)湖會通過提供一個單一的數(shù)據(jù)存儲庫來打破信息孤島，整個組織都可以使用該數(shù)據(jù)湖進行各項應(yīng)用，包括業(yè)務(wù)分析和數(shù)據(jù)挖掘等。原始的和無人管理的數(shù)據(jù)湖已被視為一個全方位的和萬能的大數(shù)據(jù)集。
但盡管數(shù)據(jù)湖已被證明可以存儲大量數(shù)據(jù)，但從這些數(shù)據(jù)中獲取可執(zhí)行洞察力已被證明是極為困難的。
“數(shù)據(jù)湖通過‘靜態(tài)’和‘批處理’時代的數(shù)據(jù)為企業(yè)提供了非常好的服務(wù)，”Churchward說。“早在2015年，人們就開始清晰地認識到，這個架構(gòu)被過度使用，但現(xiàn)在它已經(jīng)成為實時數(shù)據(jù)分析的致命弱點。首先要存放數(shù)據(jù)，然后再立即進行分析，這使企業(yè)處于極大的劣勢。當(dāng)人們希望獲得洞察力并盡快通過計算采取業(yè)務(wù)舉措時，而企業(yè)卻仍然依賴于陳舊的事件數(shù)據(jù)，這就會對企業(yè)的判斷力、業(yè)務(wù)舉措以及應(yīng)立即采取的補救措施造成不利影響。這一方面就證明了，“好東西”也會造成嚴重的戰(zhàn)略性錯誤。”
Splice Machine公司首席執(zhí)行官蒙特·茲韋本(Monte Zweben)表示贊同。
“因為基于Hadoop的管道膠帶計算引擎很復(fù)雜，所以Hadoop時代的破滅將達到頂峰，許多公司因使用數(shù)據(jù)湖而慘敗，無法獲得投資回報，”茲韋本對2018年進行預(yù)測，說道。
數(shù)據(jù)目錄專業(yè)公司--Alation的戰(zhàn)略和聯(lián)盟副總裁肯·黃(Ken Hoang)說，數(shù)據(jù)湖要想在2018年存在下去，將必須證明其具備商業(yè)價值。
“數(shù)據(jù)湖(即新的數(shù)據(jù)傾倒場)在過去幾年中經(jīng)歷了實驗性部署，除非它可以證明其自身具有價值，否則將不會被使用下去”，黃說道。“數(shù)據(jù)湖的一個成功標志就是擁有一個企業(yè)目錄，該目錄具備信息發(fā)掘、人工智能和信息匯集功能，從而為企業(yè)提供新的見解。”
然而，黃并不認為數(shù)據(jù)湖是完全失敗的產(chǎn)品。他預(yù)測數(shù)據(jù)湖和其他大型數(shù)據(jù)中心可以通過他稱之為“超級樞紐”的方式找到新的契機，該“樞紐”可通過機器學(xué)習(xí)提供“情境即服務(wù)”。
“在過去的25年，大型數(shù)據(jù)中心的部署(例如，數(shù)據(jù)倉庫、主數(shù)據(jù)管理、數(shù)據(jù)湖、Salesforce和ERP系統(tǒng))導(dǎo)致產(chǎn)生更多難以讀懂、難以關(guān)聯(lián)，或難以共享的數(shù)據(jù)孤島，”黃說。“大型樞紐中心的中心將能夠使這些樞紐中心的數(shù)據(jù)資產(chǎn)關(guān)聯(lián)起來，從而實現(xiàn)情境即服務(wù)，這反過來將促進獲取更多相關(guān)和強大的預(yù)測性洞察力，從而實現(xiàn)更快和更好的運營業(yè)務(wù)成果。”
MapR公司首席軟件應(yīng)用架構(gòu)師特德·鄧寧(Ted Dunning)預(yù)測會出現(xiàn)類似的轉(zhuǎn)變：隨著大數(shù)據(jù)系統(tǒng)在存儲、訪問和運營方面成為重點，企業(yè)將著眼于構(gòu)建全局數(shù)據(jù)結(jié)構(gòu)，從而可以全面訪問來自多個來源的數(shù)據(jù)，并且可真正地為多租戶系統(tǒng)提供計算。
“我們將看到越來越多的企業(yè)利用數(shù)據(jù)流進行計算，而不是僅僅處理數(shù)據(jù)，然后存入數(shù)據(jù)庫，”鄧寧說。“這些數(shù)據(jù)流收集了一些關(guān)鍵業(yè)務(wù)事件并可反映出業(yè)務(wù)結(jié)構(gòu)。統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)將成為構(gòu)建這些大規(guī)模數(shù)據(jù)流系統(tǒng)的基礎(chǔ)。”
自助服務(wù)數(shù)據(jù)分析專業(yè)公司Alteryx的首席戰(zhàn)略官蘭利·艾德(Langley Eide)表示，在數(shù)據(jù)湖實現(xiàn)其價值的過程中，IT人員并非孤軍作戰(zhàn)：在2018年業(yè)務(wù)線(LOB)分析師和首席數(shù)字官(CDO)也將必須負責(zé)。
艾德說：“大多數(shù)分析師并沒有利用這些在數(shù)據(jù)湖中大量存在的非結(jié)構(gòu)化資源(如點擊流數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)、日志數(shù)據(jù)等)，這主要是因為這些數(shù)據(jù)難以處理。但事實上，如果分析師不來處理這些數(shù)據(jù)的話，那么他們就沒有盡職。人們普遍認為，許多數(shù)據(jù)湖是一些被低估的資產(chǎn)，人們不知道其含有什么數(shù)據(jù)，如何來訪問它，或者如何從這些數(shù)據(jù)中獲取洞察力。隨著更多的首席數(shù)字官和企業(yè)希望從他們的數(shù)據(jù)湖獲得更好的投資回報，這一現(xiàn)實將在2018年發(fā)生改變。”
艾德預(yù)測，2018年將會有分析師使用(如數(shù)據(jù)編目等)更多編程技巧和技術(shù)來替代一些(諸如Excel和SQL的)“強大”工具，以從數(shù)據(jù)中發(fā)掘和獲取更多價值。
首席數(shù)字官(CDO)將變得日益成熟
隨著新推動力的出現(xiàn)，使我們能夠從數(shù)據(jù)中更好地獲取洞察力，艾德還預(yù)測首席數(shù)字官角色將在2018年獲得成功。
“數(shù)據(jù)本質(zhì)上就如同新的石油資源，而人們開始認識到首席數(shù)字官是解決當(dāng)今企業(yè)最重要問題之一的關(guān)鍵角色，即從數(shù)據(jù)中獲取價值，”艾德說。“通常預(yù)算不到1000萬美元，首席數(shù)字官所面臨的最大挑戰(zhàn)和機遇之一就是通過讓公司數(shù)據(jù)資產(chǎn)更貼近業(yè)務(wù)用戶，從而使備受追捧的自助服務(wù)變?yōu)楝F(xiàn)實。2018年，致力于在集中功能和業(yè)務(wù)線功能之間尋求平衡的首席數(shù)字官最終將陷入更大的預(yù)算中。”
艾德認為，如果首席數(shù)字官能夠使資源、技能和功能在卓越中心和業(yè)務(wù)線之間迅速轉(zhuǎn)換，那么他將取得最大的成功。對此，艾德說，敏捷平臺和方法是關(guān)鍵。
數(shù)據(jù)管理員角色的崛起?
數(shù)據(jù)分析創(chuàng)業(yè)公司Dremio的首席執(zhí)行官兼共同創(chuàng)始人托莫·希蘭(Tomer Shiran)，是開源Apache Arrow項目的主要推動者，他預(yù)測道，企業(yè)將對這一新角色產(chǎn)生需求，即數(shù)據(jù)管理員。
希蘭說，數(shù)據(jù)管理員處于數(shù)據(jù)使用者(即分析師和數(shù)據(jù)科學(xué)家，他們使用Tableau和Python等工具，利用數(shù)據(jù)來解答重要問題)和數(shù)據(jù)工程師(使用腳本語言、Spark、Hive和MapReduce在系統(tǒng)間移動和轉(zhuǎn)換數(shù)據(jù)的人員)之間。為了勝任這一角色，數(shù)據(jù)管理員必須了解數(shù)據(jù)的含義以及掌握應(yīng)用于數(shù)據(jù)的一些技術(shù)。
“數(shù)據(jù)管理員應(yīng)清楚整個組織內(nèi)不同團隊所需要執(zhí)行的分析類型，清楚哪些數(shù)據(jù)集最適合這項工作，以及掌握將數(shù)據(jù)從原始狀態(tài)轉(zhuǎn)換為相應(yīng)形態(tài)和形式所需的步驟，以滿足數(shù)據(jù)使用者工作的需要，”希蘭說。“數(shù)據(jù)管理者會使用一些系統(tǒng)(如自助服務(wù)數(shù)據(jù)平臺等)來加速數(shù)據(jù)使用者訪問基本數(shù)據(jù)集的端到端流程，而無需進行大量的數(shù)據(jù)復(fù)制。”
數(shù)據(jù)治理戰(zhàn)略將成為所有高管的重要課題
歐盟的《通用數(shù)據(jù)保護條例》(GDPR)”將于2018年5月25日生效，它如同陰霾一樣籠罩在數(shù)據(jù)分析領(lǐng)域，但并非所有企業(yè)都為此做好準備。
《通用數(shù)據(jù)保護條例》將直接適用于所有歐盟成員國，它將徹底改變企業(yè)處理個人數(shù)據(jù)的方式，企業(yè)必須征得歐盟公民的同意才能收集和處理其相關(guān)數(shù)據(jù)，美富律師事務(wù)所(Morrison&Foerster)全球隱私及數(shù)據(jù)安全工作組的律師們解釋道，其中包括：全球隱私工作組聯(lián)合主席Miriam Wugmeister、歐洲隱私專家Lokke Moerel和全球風(fēng)險與危機管理集團主席(美國司法部國家安全司前助理總檢察長)約翰·卡林。
“那些依賴于征得相關(guān)人同意才能進行所有業(yè)務(wù)處理的公司將不能以這種方式繼續(xù)下去，而是需要具備其他法律依據(jù)(即必要的合同和合法權(quán)益)，”他們解釋說。“企業(yè)將需要實施一套全新的制度來進行通知并獲得同意。”
盡管《通用數(shù)據(jù)保護條例》處罰金額可能會很高--行政處罰金額可高達2000萬歐元或企業(yè)全年總營業(yè)額的4%(以金額較高者為準)，但許多企業(yè)(特別是美國企業(yè))尚未對此有充分準備。
“當(dāng)千年蟲問題來臨時，每個人都在為他們可能會或可能不會面臨的問題進行準備，”Hortonworks公司的首席技術(shù)官斯科特·格瑙 (Scott Gnau)說道。“今天，似乎沒有多少人為2018年5月即將實施的《通用數(shù)據(jù)保護條例》做好準備。為什么會這樣呢?我們目前正處于這樣一個階段，每個組織都不僅要處理‘接下來的工作’，而且他們還要努力維持目前的工作和處理現(xiàn)在要解決的問題。許多組織可能都依賴首席安全官來制定規(guī)則、制度和指標等，以幫助他們的全球系統(tǒng)集成商找出最佳的行動方案。但這項工作讓一個人來承擔(dān)，這種期望是不現(xiàn)實的。”
格瑙說，為了正確執(zhí)行《通用數(shù)據(jù)保護條例》，這就要求高管們要對此充分了解，做好準備并與組織內(nèi)各個方面進行溝通。組織需要對其數(shù)據(jù)資產(chǎn)的整體治理工作進行更好地處理。但是面對大規(guī)模的數(shù)據(jù)泄漏問題(例如2017年發(fā)生的Equifax公司泄漏事件)，這意味著他們要努力進行平衡，既要為員工提供服務(wù)，可以自助訪問數(shù)據(jù)，同時還要保護這些數(shù)據(jù)免受潛在威脅。
因此，格瑙預(yù)測數(shù)據(jù)治理將成為2018年所有組織的重點工作。
“一個關(guān)鍵的目標應(yīng)該是建立一種機制，它可以平衡數(shù)據(jù)、訪問、自助服務(wù)分析和監(jiān)管民主化，”格瑙說。“我們以安全的方式構(gòu)建數(shù)據(jù)，這將會對每個人產(chǎn)生影響，包括美國國內(nèi)和海外的客戶、媒體、合作伙伴等等。”
多云數(shù)據(jù)管理專家Veritas Technologies公司的解決方案營銷總監(jiān)Zachary Bosin預(yù)測，美國某家公司將成為第一個依據(jù)《通用數(shù)據(jù)保護條例》受到處罰的企業(yè)。
“盡管截止日期日益臨近，但Veritas公司在全球范圍內(nèi)對企業(yè)進行一項調(diào)查，其中只有31%的公司認為他們符合《通用數(shù)據(jù)保護條例》標準，”Bosin說。“對違規(guī)行為的處罰是非常嚴厲的，而且這一規(guī)定將影響到任何與歐盟公民打交道的公司。”
元數(shù)據(jù)管理工作仍在不斷普及
當(dāng)然，這不僅僅是《通用數(shù)據(jù)保護條例》。數(shù)據(jù)洪流持續(xù)增長，為此世界各國政府正在制定新的法規(guī)。在組織內(nèi)部，各個團隊對數(shù)據(jù)的訪問量比以往任何時候都多。這一切都提升了數(shù)據(jù)治理以及數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成和元數(shù)據(jù)管理的重要性。
“進行元數(shù)據(jù)管理并確?！锻ㄓ脭?shù)據(jù)保護條例》等數(shù)據(jù)隱私法規(guī)融入到人工智能和物聯(lián)網(wǎng)等早期技術(shù)發(fā)展潮流中，但2018年出乎意料的趨勢將是數(shù)據(jù)管理技術(shù)的融合，”數(shù)據(jù)和分析軟件提供商Infogix的產(chǎn)品管理高級副總裁艾米莉·華盛頓(Emily Washington)說。“如果企業(yè)想要成功利用大數(shù)據(jù)和分析來創(chuàng)造更好的客戶體驗，實現(xiàn)業(yè)務(wù)目標，獲得競爭優(yōu)勢，并最終成為市場領(lǐng)導(dǎo)者，那么他們就需要不斷地評估如何來簡化整體技術(shù)堆棧。”
獲取有用的見解并提高運營效率，這需要使用靈活的集成工具，這些工具使用戶能夠快速采集、準備、分析和管理數(shù)據(jù)，威廉姆斯說。元數(shù)據(jù)管理對于支持在企業(yè)數(shù)據(jù)環(huán)境中進行數(shù)據(jù)治理、法規(guī)遵從性和滿足數(shù)據(jù)管理需求尤為重要。
預(yù)測分析有助于提高數(shù)據(jù)質(zhì)量
隨著數(shù)據(jù)項目投入生產(chǎn)，數(shù)據(jù)質(zhì)量越來越受到關(guān)注。而隨著物聯(lián)網(wǎng)進一步發(fā)展，情況尤其如此。Infogix公司表示，2018年各個組織將轉(zhuǎn)向使用機器學(xué)習(xí)算法，以加強數(shù)據(jù)質(zhì)量異常檢測。通過使用歷史模式來預(yù)測未來的數(shù)據(jù)質(zhì)量結(jié)果，企業(yè)可以動態(tài)檢測可能會被忽略的異常數(shù)據(jù)，或者可能之后只會通過人工干預(yù)來發(fā)現(xiàn)異常數(shù)據(jù)。
“隨著更多數(shù)據(jù)通過物聯(lián)網(wǎng)等技術(shù)而產(chǎn)生，對其管理和利用變得越來越困難，”華盛頓說。 “集成的自助服務(wù)工具為企業(yè)數(shù)據(jù)格局提供了一個全面的視角，從而我們可做出有意義的和及時的決策。對于成功實施數(shù)據(jù)分析計劃，解決數(shù)據(jù)治理和隱私需求，貨幣化數(shù)據(jù)資產(chǎn)，以及我們成功進入2018年，企業(yè)數(shù)據(jù)資產(chǎn)的完全透明是至關(guān)重要的。”
版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。
京公網(wǎng)安備 11010502049343號