從大數據中獲得有價值的洞察是每個企業的愿望，但是無奈理想很豐滿，現實很骨感，再加上大數據軟件開發人員和IT操作缺乏企業的協調，這也使得從大數據中獲得洞察變得更加困難。還有的企業在其支持的其它項目中可能采用了良好的DevOps策略，但是大數據項目往往因為各種原因沒有采用。
接下來，本文將來探討一下DevOps是什么、為什么大數據項目團隊不使用DevOps方法、使用DevOps的好處以及將大數據遷移到DevOps模型時可能會面臨的挑戰。
什么是DevOps?
首先我們先來了解一下DevOps是什么?為什么它會如此受歡迎?DevOps的主要目的是消除軟件開發人員和IT基礎架構管理員之間的孤島，以確保每個人都可以專注于單一的目標。中間有一些交叉的訓練可以會包含所有人都能理解的使用過程很多術語，但是一旦訓練完成，雙方又可以各自以清晰的方向繼續改進。然后兩個團隊一起測試環境、調整生產基礎架構組件以滿足新的軟件需求，并最終更快速地為終端用戶提供軟件修復和功能。
為什么大數據項目不喜歡采用DevOps
IT領導者放棄DevOps的主要原因是大數據科學(特別是大數據的分析科學部分)的復雜性。數據科學是一個比較新的領域，大部分的專家都是外國人，國內的數據專家很少，所以這也導致了分析師無法和大數據開發商協同合作。
為什么大數據需要DevOps
由于分析師和大數據開發商的分離，DevOps在解決其他效率低下的項目中遇到的瓶頸照樣會出現在大數據項目中。由于某些大數據項目會比預期的難度更大，所以IT領導者迫于壓力會越來越想要早點得到結果，同時這也迫使分析科學家不斷改進他們的算法。而分析模型發生的變化往往會和最初的基礎設施和資源需求有很大的出入，在這個改變的過程中，運營團隊一直被排除在外，所以當基礎設施更改需求給到開發人員的時候，你就會發現通信和資源的分配滯后會減緩進度，而且這種放緩會影響大數據分析的潛在競爭優勢。這也就是為什么大數據需要DevOps的原因。
集成大數據和DevOps時的挑戰
如果你決定把大數據項目遷移到DevOps模型，就一定要了解你將面臨的哪些挑戰。 例如，如何快速打造探索分析和深度分析的大數據平臺。
另外，大多數的專業分析人士都認為自己是社會工程師，而不是數據工程師，所以會有自己要學習的事情。如果在你的DevOps計劃中速度是很關鍵的部分，那么資源協調是至關重要的。還有，大數據DevOps的高效運行還需要額外的人力資源，因為DevOps的價值并不是員工的減少，而是發掘應用程序的潛能。
大數據和DevOps集成的收益遠遠超過任何其他集成。效率和利益的協調有助于簡化流程，加快實時分析變更的能力，從而更有效地利用所挖掘的數據。
京公網安備 11010502049343號