數(shù)據(jù)分析對公司來說是非常有價值的，它可以提供對數(shù)據(jù)的深刻見解，而這些見解原本可能是不可見的。
正因為如此，數(shù)據(jù)分析也繼續(xù)吞噬著IT預(yù)算的很大一部分。據(jù)2020年的CIO狀況調(diào)查顯示，37%的IT主管表示，數(shù)據(jù)分析也將繼續(xù)推動公司今年的IT投資，是最高的單一類別。
但即使如此也不能保證數(shù)據(jù)分析的投資一定會有回報。事實上，這門學(xué)科可能已經(jīng)充滿了問題，這些問題可能暫時會使這些項目脫軌，或者讓它們走向失敗。
但避免負面結(jié)果是任何想要利用數(shù)據(jù)分析的公司都能做到的--只要他們投入必要的準備和工作。以下是一些組織可以采取的步驟，以避免數(shù)據(jù)分析災(zāi)難的發(fā)生和帶來失望。
制定全面的數(shù)據(jù)管理策略
公司應(yīng)該采取的第一步是建立一個全面的數(shù)據(jù)管理策略，以定義數(shù)據(jù)的收集、處理和分析，IT專業(yè)組織CompTIA的技術(shù)分析高級主管Seth Robinson說。
“企業(yè)已經(jīng)采取了類似的措施，將網(wǎng)絡(luò)安全作為了IT的關(guān)鍵業(yè)務(wù)組件，但數(shù)據(jù)管理也應(yīng)該遵循同樣的路徑，因為數(shù)據(jù)對企業(yè)運營來說已變得如此重要。”Robinson表示。
CompTIA最近發(fā)布了一份名為“數(shù)據(jù)管理趨勢”的報告，該報告是基于對美國400名IT專業(yè)人士在2019年12月進行的一項在線調(diào)查。報告顯示，許多企業(yè)都處于制定數(shù)據(jù)管理戰(zhàn)略的早期階段。
在接受調(diào)查的組織中，只有25%的人認為他們在公司數(shù)據(jù)管理方面正處于理想狀態(tài)。報告稱，盡管數(shù)據(jù)長期以來一直就是IT運營的一部分，但在工作角色或已定義的組件方面并沒有受到太多關(guān)注。
該戰(zhàn)略的一個重要組成部分是擁有正確的數(shù)據(jù)分析技能，以滿足公司的需求。
“數(shù)據(jù)相關(guān)的技能差距是企業(yè)在制定數(shù)據(jù)管理計劃時必須面臨的(第三大)挑戰(zhàn)，它們需要一系列不同的數(shù)據(jù)技能。”Robinson表示。其中包括了數(shù)據(jù)庫管理、數(shù)據(jù)分析和數(shù)據(jù)可視化。“其中的一些技能可以傳授給現(xiàn)有的員工，而其他技能則可能需要新的招聘或合作。”他說。
根據(jù)CompTIA的數(shù)據(jù)，只有44%的公司表示，他們內(nèi)部已經(jīng)有了專門從事數(shù)據(jù)管理或數(shù)據(jù)分析的IT員工。雖然人們關(guān)注的是像數(shù)據(jù)科學(xué)家這樣的新職位，但依然會有更多傳統(tǒng)角色的機會，包括數(shù)據(jù)庫管理員。
“你必須咨詢或培訓(xùn)你的業(yè)務(wù)員工，使其具備數(shù)據(jù)素養(yǎng)，否則你的團隊中可能沒有人知道可以如何開始關(guān)于數(shù)據(jù)分析的討論。”咨詢公司W(wǎng)est Monroe技術(shù)實踐的高級架構(gòu)師Jeremy Wortz補充道。
“不是每個人都需要成為數(shù)據(jù)科學(xué)家，但所有的商業(yè)領(lǐng)袖都需要對分析如何驅(qū)動價值有一個基本的理解。”
優(yōu)先考慮數(shù)據(jù)集成
與數(shù)據(jù)分析相關(guān)的最常見的問題實際上是出現(xiàn)在整個數(shù)據(jù)流過程的早期，缺乏數(shù)據(jù)集成，Robinson說。“如果沒有將所有的公司數(shù)據(jù)聯(lián)系在一起，數(shù)據(jù)分析就將在尋找聯(lián)系和洞察力方面受到限制。”他說。
CompTIA的研究發(fā)現(xiàn)，整合數(shù)據(jù)將會是解決問題的關(guān)鍵。公司在其數(shù)據(jù)管理戰(zhàn)略中列舉了兩個挑戰(zhàn)。只有加快數(shù)據(jù)分析的步伐才能在挑戰(zhàn)中名列前茅。
幾年來，CompTIA research發(fā)現(xiàn)，在技術(shù)計劃上獨立工作的業(yè)務(wù)部門最終會面臨集成方面的挑戰(zhàn)。因此，組織正在試圖避免影子IT，轉(zhuǎn)而采用協(xié)作性的方法，這種方法可以在保持對所有業(yè)務(wù)系統(tǒng)的包容性視圖的同時，仍然給業(yè)務(wù)部門一些自由。
CompTIA的報告說，將數(shù)據(jù)收集到一個單一的存儲庫中將會是這種方法的一部分，另外，對于能夠在盡可能廣泛的數(shù)據(jù)集上運行AI計劃也是至關(guān)重要的。該研究指出，盡管數(shù)據(jù)集成可能會是最大的挑戰(zhàn)，但在被調(diào)查者中，數(shù)據(jù)孤島問題依舊沒有被廣泛認為是一個問題。
考慮到82%的公司表示他們有一個高度的或中等程度的數(shù)據(jù)孤島，“在數(shù)據(jù)孤島方面究竟有多大的問題，以及如何將它們準確地集成到一個公共數(shù)據(jù)集上，存在明顯的脫節(jié)。”報告說。
除了數(shù)據(jù)源的技術(shù)集成之外，企業(yè)還需要在各個業(yè)務(wù)部門和IT職能部門之間建立數(shù)據(jù)共享流程。
“就像其他的許多方面一樣，這些組織之間的合作需求也在不斷的增長。”Robinson說。“業(yè)務(wù)部門帶來的知識將是最有幫助的見解，而IT團隊則擁有交付技術(shù)解決方案的專業(yè)知識。定期溝通將有助于建立適當(dāng)?shù)姆答佈h(huán)，以優(yōu)化數(shù)據(jù)分析，為業(yè)務(wù)提供最佳的服務(wù)。”
進行有效的DataOps實踐
DataOps(data operations)是一種自動化的、面向流程的方法，數(shù)據(jù)分析團隊可以使用它來提高分析質(zhì)量和縮短分析周期。它最初只是一組最佳實踐，而現(xiàn)在已經(jīng)成熟為了一種新的、獨立的數(shù)據(jù)分析方法。
該方法適用于從數(shù)據(jù)準備到報告的整個數(shù)據(jù)生命周期，并承認了數(shù)據(jù)分析團隊和IT運營之間的內(nèi)在聯(lián)系。
與DevOps類似，DataOps整合了敏捷方法，以縮短分析開發(fā)的周期，使之能夠與業(yè)務(wù)目標(biāo)保持一致。DevOps可以通過利用IT資源和自動化測試和部署來持續(xù)交付高質(zhì)量的軟件，而DataOps的目標(biāo)也是為數(shù)據(jù)分析帶來同樣的改進。
跨國生物制藥公司Amgen的數(shù)據(jù)戰(zhàn)略與運營高級總監(jiān)James Royster表示，如果企業(yè)想要改善分析結(jié)果，“全面實施DataOps是至關(guān)重要的”。
該公司已經(jīng)從DataKitchen部署了一個DataOps平臺，并取得了“巨大的成功”，Royster說。“DataOps涉及到需要設(shè)計一個帶有內(nèi)置錯誤處理的數(shù)據(jù)分析，”他說。“數(shù)據(jù)分析需要使用自動化的方法來測試和控制數(shù)據(jù)的質(zhì)量，以便減少錯誤并避免數(shù)據(jù)的完整性問題。”
組織經(jīng)常會遇到數(shù)據(jù)錯誤的問題，這些問題可能會危及項目本身，Royster說。這些錯誤包括了底層數(shù)據(jù)集的錯誤。“所以你必須對原始數(shù)據(jù)進行清理和預(yù)處理，”他表示。“錯誤在任何大型數(shù)據(jù)集中都是很常見的。”
此外，從具有不同業(yè)務(wù)規(guī)則的不同位置獲取相同的數(shù)據(jù)也可能會產(chǎn)生錯誤。“同一企業(yè)中的不同組織可能會使用不同的算法、工作流或假設(shè)來處理相同的數(shù)據(jù)。”Royster說。
許多公司還不能快速連接和轉(zhuǎn)換數(shù)據(jù)以滿足當(dāng)前的需求。“市場在迅速發(fā)展，業(yè)務(wù)需求也在變化，”Royster說。“數(shù)據(jù)團隊必須能夠更新數(shù)據(jù)轉(zhuǎn)換，以跟上用戶和利益相關(guān)者的請求。”
提出正確的數(shù)據(jù)分析問題
組織需要堅持不懈地關(guān)注那些能夠通過數(shù)據(jù)分析傳遞價值的關(guān)鍵問題，West Monroe的Wortz說。
“事實是，無論你的工具和技術(shù)有多先進，你的數(shù)據(jù)本身都不會帶來任何價值，除非你能獲得驅(qū)動戰(zhàn)略結(jié)果的洞察力，”Wortz說。所有的分析，包括人工智能和機器學(xué)習(xí)，都應(yīng)該產(chǎn)生深刻的見解，他補充道。
實現(xiàn)這一目標(biāo)的關(guān)鍵是能夠提出與價值創(chuàng)造相關(guān)的有影響力的問題，Wortz說。“潛在客戶需要多長時間才能成為真正的客戶?為什么客戶會流失?他們什么時候會帶來變化?”他說。“一旦你有了基本的答案，你就可以提出與業(yè)務(wù)相關(guān)的假設(shè)，然后用新的、更簡單的問題重新開始這個過程。”
West Monroe最近在與一個客戶合作，進行了一個以銷售為中心的人工智能和機器學(xué)習(xí)項目。
“機器學(xué)習(xí)模型為組織帶來了大量的收入，但是我們在為算法做準備的整個過程中都保持著對數(shù)據(jù)集的洞察力，”Wortz說。“我們中的許多人都認為，通過在數(shù)據(jù)中發(fā)現(xiàn)普遍適用的洞見(例如基于特定產(chǎn)品的特定地區(qū)的特定客戶問題)，ML的工作所產(chǎn)生的價值與向AI算法所輸入的數(shù)據(jù)一樣多。
這給了該組織一個快速增值的機會，因為West Monroe建立了ML系統(tǒng)的長期價值，“同時這也為算法提供了更高質(zhì)量的數(shù)據(jù)集，”Wortz說。
只分析干凈、準確的數(shù)據(jù)
這種做法可能是屬于構(gòu)建和執(zhí)行總體數(shù)據(jù)管理戰(zhàn)略的范疇。但它本身作為一種最佳實踐仍然值得一提。如果分析的數(shù)據(jù)不準確，結(jié)果和見解就會受到污染。
“在我看來，最重要的步驟是，在提供任何見解之前，數(shù)據(jù)必須是可辯護的、可理解的和可接受的，”技術(shù)研究和咨詢公司ISG的首席數(shù)據(jù)和分析官Kathy Rudy表示。
“這意味著數(shù)據(jù)需要是干凈的、最新的、有效的，并且來自可信的記錄系統(tǒng)，”Rudy說。“干凈的數(shù)據(jù)意味著在進行任何分析之前，你可能已經(jīng)花了大量時間來檢查和清理數(shù)據(jù)。”這通常會花費相當(dāng)多的時間，尤其是在跨數(shù)據(jù)庫交付報告的情況下。”
Rudy表示，這會是一個關(guān)鍵的步驟，通常被稱為主數(shù)據(jù)管理。
“管理層必須確認數(shù)據(jù)的來源、流通和準確性，否則他們就不會接受結(jié)果，而你將需要花更多的時間來捍衛(wèi)數(shù)據(jù)，而不是交付價值，”Rudy說。“它還會給數(shù)據(jù)團隊帶來不必要的周期，可能會讓你失去可信度。”
在線學(xué)生服務(wù)提供商Kaplan Higher Education的首席信息官Pratyush Rai表示，擁有堅實的技術(shù)基礎(chǔ)非常重要，“尤其是在數(shù)據(jù)準備方面，而在許多組織中，對底層架構(gòu)的關(guān)注顯然不夠。”這會導(dǎo)致重復(fù)記錄和臟數(shù)據(jù)的產(chǎn)生，使得數(shù)據(jù)分析更具有挑戰(zhàn)性。”
創(chuàng)建一個有凝聚力的協(xié)作分析團隊
成功的分析以及避免失望需要團隊的合作，這通常也意味著必須消除部門的孤立。
“組織通常很難創(chuàng)建和共享數(shù)據(jù)體驗，因為數(shù)據(jù)往往是存儲在多個孤島上的，并且缺乏用于治理、數(shù)據(jù)發(fā)現(xiàn)、編目的工具，以及工程、分析和業(yè)務(wù)團隊之間的協(xié)作，”為能源行業(yè)提供分析服務(wù)的公司Vortexa的首席技術(shù)官Maksym Schipka表示。
“你需要把你的團隊組織成多功能的團隊，在一個團隊中平衡業(yè)務(wù)分析師、數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家、軟件工程師和質(zhì)量保證，”Schipka說。“要避免陷入擁有一個單獨的數(shù)據(jù)科學(xué)團隊的陷阱。因為這肯定會導(dǎo)致項目的失敗。”
Vortex確保了分析團隊能夠完全掌握它所使用的分析工具的選擇，比如來自Lenses.io的數(shù)據(jù)操作平臺和來自Amazon Web services的云服務(wù)。
但Schipka表示，無論使用何種分析工具，組織都應(yīng)該期望在數(shù)據(jù)分析團隊中擁有數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師的組合。“確切的比例將取決于需要回答的業(yè)務(wù)問題的復(fù)雜性，以及實現(xiàn)這一目標(biāo)所需技術(shù)的復(fù)雜性。”她說。
版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。
京公網(wǎng)安備 11010502049343號