源于互聯(lián)網(wǎng)的大數(shù)據(jù)技術，現(xiàn)如今已經深入到傳統(tǒng)行業(yè)之中。各行各業(yè)大都在積極使用大數(shù)據(jù)推動數(shù)字化轉型，基于每個行業(yè)的特點和信息化水平的不同，在大數(shù)據(jù)的應用上也各不相同，其中金融、電信、政府、交通行業(yè)領跑大數(shù)據(jù)應用。
某電信運營商的大數(shù)據(jù)應用在運營商中屬于第一梯隊，早在3、4年前就開始了大數(shù)據(jù)平臺的建設。但隨著業(yè)務帶動數(shù)據(jù)量的增長，也產生了多租戶的問題，所以在大數(shù)據(jù)平臺二期建設上，其考慮通過統(tǒng)一架構來解決多租戶問題。
運營商的多租戶挑戰(zhàn)
在大數(shù)據(jù)應用上可以分為三個階段，第一，實驗期，非核心業(yè)務的應用；第二，廣泛使用期，針對一些大數(shù)據(jù)技術選擇使用的場景；第三，引領發(fā)展期，實現(xiàn)創(chuàng)新應用。
電信行業(yè)算是最早使用大數(shù)據(jù)開展業(yè)務的行業(yè)之一，在大數(shù)據(jù)的應用上已經經歷了第一階段大多處在第二階段，而且運營商目前也正進入新的轉型期，大數(shù)據(jù)也將成為創(chuàng)新的驅動力。
而在大數(shù)據(jù)廣泛使用期的運營商有兩大驅動力需求：業(yè)務和技術。業(yè)務驅動力表現(xiàn)為實現(xiàn)端到端的業(yè)務模型，從用戶畫像提煉出目標客戶產生價值等；技術驅動力表現(xiàn)為技術平臺的建設滿足不同的需求。在大數(shù)據(jù)應用第二階段的后期，兩種驅動力也會交織在一起，運營商甚至建立專門的大數(shù)據(jù)部門，來統(tǒng)籌和實現(xiàn)需求。
運營商在各省市都有不同的分支機構，某電信運營商作為第一批建設大數(shù)據(jù)的運營商，在3、4年前就開始大數(shù)據(jù)平臺的建設，2年內獲得了超過3000萬的業(yè)務收益。但隨著海量數(shù)據(jù)和數(shù)據(jù)應用種類的不斷增長，大數(shù)據(jù)系統(tǒng)超負荷運行，驅使100%的磁盤空間利用率幾乎崩盤，對業(yè)務的穩(wěn)定性和安全造成了潛在風險。
這也是運營商在大數(shù)據(jù)應用第二階段最突出的問題“多租戶”，多租戶是一個比較廣的概念，其中涵蓋了資源共享、資源調度、可是化管理，多租戶也基本代表了規(guī)模以上企業(yè)在技術驅動的大部分范疇。
多租戶來自于使用和維護部門的直接需求，之前運營商在IT系統(tǒng)的建設上都是一個應用一套平臺，這也造成了系統(tǒng)和系統(tǒng)之間的隔閡，產生大量的孤島。在經過不斷的架構優(yōu)化后，逐漸形成了在統(tǒng)一的平臺建立大數(shù)據(jù)應用，這就需要實現(xiàn)硬件甚至數(shù)據(jù)的共享。在應用都在分享資源時，如何調派這些資源，就產生了多租戶的需求。
構建統(tǒng)一架構大數(shù)據(jù)平臺
某電信運營商需要滿足分批量數(shù)據(jù)處理的同時，引入實時分析應用，提高數(shù)據(jù)的高效利用率，挖掘潛在數(shù)據(jù)價值。
在Hadoop的初期并不具備實現(xiàn)條件，經過發(fā)展目前Hadoop已經可以很好的滿足多租戶需求，但中間需要大量定制化開發(fā)。而且單一系統(tǒng)也不能完成大數(shù)據(jù)的所有需求，這也使得需要一個全面的解決方案。
某電信運營商在大數(shù)據(jù)平臺上更加關注實施風險和性價比，以Platform和GPFS為基礎結合開源Hadoop2.0+Spark整體解決方案實現(xiàn)完全兼容滿足多租戶需求，即使在租戶數(shù)量增多的情況下，也能保證企業(yè)租戶享有安全穩(wěn)定高效的應用性能。
最終選用Power Linux主要是考慮硬件本身的性能、可靠性、安全性，之后再對比軟件的性價比。相比X86服務器，Power Linux在其中起到了軟硬互相優(yōu)化的作用，Power對于商業(yè)軟件還是開源軟件都有很好的兼容性，而且還可以針對性的進行調優(yōu)。而且在同一平臺上實現(xiàn)支持不同開源Hadoop版本，解決了集成問題，避免了推倒從來和數(shù)據(jù)遷移。
目前某電信運營商的大數(shù)據(jù)平臺已經進入第二期建設，每天數(shù)據(jù)量峰值已經超過50TB，平臺上的數(shù)據(jù)提供給業(yè)務部門、維護部門、創(chuàng)新中心三大部門使用。
大數(shù)據(jù)平臺在支持運營之外，提供了共享的框架，節(jié)省了資源提高利用率，該省公司也因此成為中國移動在大數(shù)據(jù)應用上的標桿工程。而且通過隔離功能可以讓不同應用運行在平臺的同時，還可以實現(xiàn)數(shù)據(jù)的共享，提高性能的同時降低開發(fā)成本。
在未來大數(shù)據(jù)平臺的規(guī)劃上將更加突出業(yè)務特性，甚至有可能將其他省公司也接入到該省公司的大數(shù)據(jù)平臺，在技術層面越來越基于云進行分析，提升整個平臺的計算速度和易于維護性。
京公網(wǎng)安備 11010502049343號