包括社交媒體、移動端和云計算在內，數據分析和相關數據技術已扮演著數字時代顛覆核心業務的角色。隨著企業在2017年開始從生成數據的組織轉型為數據驅動的組織，數據和分析已成為許多企業的重要工作。2018年，這些技術需要開始實現其價值。以下是將在未來一年推動數據分析戰略發展的一些方法、崗位角色和關注點。
數據湖需要證明其商業價值，否則將會消亡
多年來，數據已經在企業中不斷快速積累。物聯網(IoT)只會隨著數據源從網絡端遷移到移動端和設備端過程中加速數據的生成。
實時流數據平臺供應商—DataTorrent的首席執行官蓋伊·喬治瓦特(Guy Churchward)說：“這就迫切需要以一種經濟高效的方式來擴展數據管道。”
對于許多企業來說，利用像Apache Hadoop這樣的技術為其提供支持，其解決方案就是創建數據湖，即創建整個企業的數據管理平臺，用于以本機格式存儲企業的所有數據。數據湖將通過提供一個單一的數據存儲庫來消除信息孤島，整個組織都可以使用該存儲庫來進行業務分析、數據挖掘等各種應用。原始的和無人管理的數據湖已被視為一個全方位和萬能的大數據集。
但是，雖然數據湖已被證明可以成功存儲大量數據，但從數據中獲取可指導行動的見解已被證明是困難的。
“數據湖通過‘非活動’和‘批處理’時代的數據為公司提供了非常好的服務，”喬治瓦特說。“早在2015年，人們開始清楚地認識到，這個架構已被過度使用，但它現在已成為實時數據分析的致命弱點。首先要將數據寄存，然后進行分析，這會使公司處于極大的劣勢。當要獲得洞察力并盡可能快地采取行動時，那些依賴過時事件數據的公司會無法看清事態，無法采取適當的行動和任何可能的即時補救措施，這一點就“足夠”證明其具有戰略性致命弱點。
Splice Machine公司首席執行官蒙特·茲韋本(Monte Zweben)表示贊同。
茲韋本預測，到2018年，“Hadoop時代的破滅將全面展開，許多公司在數據湖中滅亡。由于對Hadoop計算引擎進行管道錄制具有一定的復雜性，使許多企業無法獲得投資回報。”
數據目錄專業公司--Alation的戰略和聯盟副總裁肯·黃(Ken Hoang)說，為了在2018年能生存下去，數據湖必須要證明其商業價值。
“在過去幾年中經歷了實驗性部署，數據湖(即新的數據傾倒場)即將走向終點，除非它能證明其自身價值”，肯·黃說道。“數據湖成功的一個標志是擁有一個企業目錄，它可進行信息發掘、人工智能和信息管理，從而為業務提供新見解。”
然而，肯·黃并不認為數據湖是完全失敗的。他預測數據湖和其他大型數據中心可以通過他所謂的“超級樞紐”找到新的契機，這些“超級樞紐”可通過機器學習提供“環境即服務”。
“過去25年里，部署的大型數據中心(例如數據倉庫、主數據管理、數據湖、Salesforce和ERP)導致形成了更多的數據孤島，這些孤島難以被讀懂、關聯或共享。” 肯·黃說道。“樞紐中心能夠使各個數據中心的資源相互關聯，從而實現環境即服務，這反過來將帶來更相關和更有力的預測性洞察力，從而實現更快更好的運營業務成果。”
MapR公司首席應用程序設計師特德·鄧寧(Ted Dunning)預測，將會出現類似的轉變：隨著大數據系統成為存儲、訪問和運營工作的重心，企業將著眼于構建全局數據結構，從而可以全面訪問來自多個來源的數據，并為真正的多租戶系統進行計算。
“我們將看到越來越多的企業用數據流進行計算，而不是僅僅利用經處理并存入數據庫的數據，”鄧寧說。“這些數據流收集了關鍵業務事件并可反映業務結構，而統一的數據結構將成為構建這些大規模數據流系統的基礎。”
鄧寧說，這些數據結構將支持在不同環境下進行的多種計算。“一個新趨勢是建立一個數據結構，該數據結構可提供(由Kubernetes等公司支持的)多云計算所需的活動數據和非活動數據。”
自助服務數據分析專業公司--Alteryx的首席戰略官蘭利·艾德(Langley Eide)表示，在數據湖實現其價值的過程中，IT部門不會孤軍作戰：業務范圍(LOB)分析師和首席數字官( CDO)也必須在2018年擔負責任。
“大多數分析師并沒有利用大量的非結構化資源，例如點擊流數據、物聯網數據、日志數據等，這些數據在數據湖中已泛濫成災，這主要是因為這些數據很難處理，”艾德說。“但事實上，如果分析師不去處理這些數據的話，那么他們就并未盡職。人們普遍認為，許多數據湖是表現不佳的資源，人們不知道其中存儲著什么內容，如何進行訪問，或者如何從這些數據中獲取洞察力。這一現實將在2018年發生改變，因為更多的首席數字官和企業希望從他們的數據湖中獲得更好的投資回報率。”
艾德預測，2018年我們將會看到分析師用更多諸如數據編目之類的編程方法和技術來替代像Excel和SQL這樣“強大”的工具，以從數據中發掘并獲取更多價值。
首席數字官將變得日益成熟
由于技術發展促使我們可以更好地從數據中獲得洞察力，艾德還預測首席數字官的角色將在2018年變得日益成熟。
“數據基本上就像新的石油資源，而首席數字官開始被認為是解決當今企業最重要問題的關鍵角色：從數據中獲取價值，”艾德說。“通常預算不到1000萬美元，首席數字官面臨的最大挑戰和機遇之一就是通過使公司數據資產更貼近業務用戶，從而使備受追捧的自助服務可能成為現實。2018年，那些努力在集中化功能和業務范圍內置功能之間尋求平衡的首席數字官最終將陷入更大的預算中。”
艾德認為，那些能夠使資源、技能和功能在精英中心和業務范圍之間迅速轉移的首席數字官，將取得最大的成功。對此，艾德認為，敏捷式平臺和方法是關鍵。
數據管理員角色的崛起?
數據分析創業公司Dremio的首席執行官兼共同創始人Tomer Shiran，他是開源Apache Arrow項目的主要技術人員，預測到企業將看到對一個新崗位角色的需求，即數據管理員。
Shiran說，數據管理員處于數據使用者(那些使用Tableau和Python等工具，并且用數據來解答重要問題的分析師和數據科學家)和數據工程師(是那些將數據在使用各種腳本語言的系統間移動和轉換的人員，其中這些腳本語言包括Spark、Hive和MapReduce)之間。為了取得成功，數據管理員必須了解數據的含義以及掌握應用于數據中的一些技術。
“數據管理員需要清楚整個組織內需要執行的數據分析類型，清楚哪些數據集非常適用于這項工作，以及清楚如何將數據從原始狀態轉換為數據使用者執行這項工作所需的形態和形式，”Shiran說。“數據管理員應使用像自助服務數據平臺這樣的系統來加快數據使用者訪問基本數據集的端到端流程，而無需制作無數的數據副本。”
數據治理戰略將成為所有高管的重要課題
歐盟的“通用數據保護條例”(GDPR)將于2018年5月25日生效，它像陰霾一樣籠罩在數據分析領域，然而并非所有企業都為此做好了準備。
“通用數據保護條例”將直接適用于所有歐盟成員國，它徹底改變了企業處理個人數據的方式，企業必須征得歐盟公民的同意才能收集和處理其相關數據，美富律師事務所(Morrison&Foerster)全球隱私及數據安全工作組的律師解釋道，其中包括：全球隱私工作組聯合主席Miriam Wugmeister、歐洲隱私專家Lokke Moerel和全球風險與危機管理集團主席(美國司法部國家安全司前助理總檢察長)約翰·卡林。
“那些依賴于獲得相關人同意才能進行所有業務處理的公司將不能以這種方式繼續下去，而是需要具備其他法律依據(即必要的合同和合法權益)，”他們解釋說。“公司將需要實施一套全新的制度來進行通知并獲得同意。”
盡管“通用數據保護條例”處罰金額可能會很高--行政處罰金額可高達2000萬歐元或全年總營業額的4%(以金額較高者為準)，但許多企業(特別是美國企業)尚未對此有充分的準備。
“當千年蟲問題來臨時，每個人都在為他們可能會或可能不會面臨的問題進行準備，”Hortonworks公司的首席技術官斯科特·格瑙 (Scott Gnau)說道。“今天，似乎沒有多少人為2018年5月即將實施的‘通用數據保護條例’做好準備。為什么會這樣呢?我們目前正處于這樣一個階段，每個組織都不僅要處理‘接下來的工作’，而且他們還要努力維持目前的工作和處理現在要解決的問題。許多組織可能都依賴首席安全官來制定規則、制度和指標等，以幫助他們的全球系統集成商找出最佳的行動方案。但這項工作讓一個人來承擔，這種期望是不現實的。”
格瑙說，為了正確執行“通用數據保護條例”，這就要求高管們要對此充分了解，做好準備并與組織內各個方面進行溝通。組織需要對其數據資產的整體治理工作進行更好地處理。但是大規模的數據泄漏問題，例如2017年發生的Equifax公司泄漏事件，這意味著他們要努力進行平衡，既要為員工提供服務，可以自助訪問數據，同時還要保護這些數據免受潛在威脅。
因此，格瑙預測數據治理將成為2018年所有組織的重點工作。
“一個關鍵的目標應該是建立一種機制，它可以平衡數據、訪問、自助服務分析和監管民主化，”格瑙說。“我們以安全的方式構建數據，這將會對每個人產生影響，包括美國和海外的客戶、媒體、合作伙伴等等。”
多云數據管理專家Veritas Technologies公司的解決方案營銷總監Zachary Bosin預測，美國某家公司將成為第一個依據“通用數據保護條例”受到處罰的企業。
“盡管截止日期日益臨近，但Veritas公司在全球范圍調查的公司中，只有31%的公司認為他們符合“通用數據保護條例”標準，”Bosin說。“對違規行為的處罰是非常嚴重的，而且這一規定將影響到任何與歐盟公民打交道的公司。”
版權聲明：本文為企業網D1Net編譯，轉載需注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。
京公網安備 11010502049343號