大數(shù)據(jù)技術(shù)百花齊放，不同場(chǎng)景有不同解決方案，多種異構(gòu)大數(shù)據(jù)技術(shù)并存的混合架構(gòu)將成為大型組織機(jī)構(gòu)大數(shù)據(jù)平臺(tái)的常態(tài)，數(shù)據(jù)湖架構(gòu)能夠有效融合異構(gòu)技術(shù)及異構(gòu)數(shù)據(jù)，可以說(shuō)，數(shù)據(jù)湖架構(gòu)會(huì)是未來(lái)大數(shù)據(jù)平臺(tái)建設(shè)的一大趨勢(shì)。——品高數(shù)據(jù)湖產(chǎn)品總監(jiān) 李偉文

大數(shù)據(jù)時(shí)代，數(shù)據(jù)碰撞比傳統(tǒng)的數(shù)據(jù)分析激發(fā)更大價(jià)值。聯(lián)系客服小表妹（VX：pingaoyunzzm）了解更多。

而數(shù)據(jù)碰撞的前提是實(shí)現(xiàn)企業(yè)內(nèi)各業(yè)務(wù)線條之間、跨企業(yè)組織之間以及跨行業(yè)的數(shù)據(jù)匯聚、共享和開(kāi)放。如何有效打破數(shù)據(jù)孤島，實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)匯聚和共享，成為企業(yè)所面臨的一大關(guān)鍵性問(wèn)題。

近日，Gartner聯(lián)合品高云發(fā)布的《基于數(shù)據(jù)湖架構(gòu)的大數(shù)據(jù)平臺(tái)》（點(diǎn)擊查看詳情）實(shí)踐報(bào)告給出了這樣的解決方案：數(shù)據(jù)湖。

Gartner認(rèn)為，通過(guò)整合結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)湖可以把不同數(shù)據(jù)來(lái)源、不同種類的數(shù)據(jù)匯聚在一起，讓用戶不必為海量不同的數(shù)據(jù)構(gòu)建不同數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)。

品高云數(shù)據(jù)湖架構(gòu)示意圖

國(guó)內(nèi)首個(gè)私有云數(shù)據(jù)湖

根據(jù)《基于數(shù)據(jù)湖架構(gòu)的大數(shù)據(jù)平臺(tái)》實(shí)踐報(bào)告描述，在亞馬遜、微軟等紛紛推出基于公有云的數(shù)據(jù)湖解決方案的當(dāng)下，品高云是國(guó)內(nèi)首個(gè)把數(shù)據(jù)湖概念引入私有云平臺(tái)的廠商，其推出的數(shù)據(jù)湖管理平臺(tái)BingoInsight可以幫助政府和企業(yè)在跨部門、跨組織以及跨行業(yè)的數(shù)據(jù)共享提供基礎(chǔ)數(shù)據(jù)支撐環(huán)境。

目前BingoInsight已經(jīng)在公安、電信等多個(gè)行業(yè)落地。在某市公安局，品高云數(shù)據(jù)湖為IT部門構(gòu)建了數(shù)據(jù)共享和開(kāi)放的基礎(chǔ)設(shè)施，幫助其實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一共享與匯聚，把數(shù)據(jù)開(kāi)放給各個(gè)部門。

李偉文認(rèn)為，數(shù)據(jù)湖技術(shù)優(yōu)勢(shì)在于存儲(chǔ)和計(jì)算引擎的分離。相比傳統(tǒng)大數(shù)據(jù)平臺(tái)的計(jì)算和存儲(chǔ)是相互耦合的，在大型組織的復(fù)雜架構(gòu)下，數(shù)據(jù)湖能更好地實(shí)現(xiàn)數(shù)據(jù)整合和異構(gòu)技術(shù)的融合。

數(shù)據(jù)湖讓企業(yè)的各個(gè)部門可以根據(jù)具體的應(yīng)用場(chǎng)景選擇不同的上層計(jì)算引擎，卻不影響存儲(chǔ)以及數(shù)據(jù)的隔離和共享。存儲(chǔ)和計(jì)算能夠獨(dú)立擴(kuò)展，當(dāng)存儲(chǔ)不夠的時(shí)候單獨(dú)擴(kuò)展存儲(chǔ)引擎，當(dāng)計(jì)算不夠的時(shí)候就擴(kuò)展計(jì)算引擎，非常靈活。

品高云數(shù)據(jù)湖產(chǎn)品功能

以某省公安廳為例，該公安廳的各部門應(yīng)用均采用了不同的計(jì)算引擎，由于技術(shù)路線不一，導(dǎo)致數(shù)據(jù)整合非常困難。在引入品高云數(shù)據(jù)湖架構(gòu)之后，某省公安廳很好地解決了異構(gòu)計(jì)算引擎融合的難題，加快了數(shù)據(jù)資源的匯聚、統(tǒng)一、開(kāi)放。

當(dāng)下大數(shù)據(jù)的發(fā)展日新月異，數(shù)據(jù)湖還可以避免用戶在數(shù)據(jù)遷移方面的苦惱，有利于后續(xù)計(jì)算技術(shù)的更新?lián)Q代。比如，傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)向hadoop遷移的過(guò)程非常麻煩，現(xiàn)在基于數(shù)據(jù)湖架構(gòu)，只需要變更上層的計(jì)算引擎，而不用遷移數(shù)據(jù)。對(duì)于后續(xù)引入新的計(jì)算技術(shù)也更方便。

解決數(shù)據(jù)共享

數(shù)據(jù)湖大有可為

過(guò)去幾年來(lái)，國(guó)家層面高度重視大數(shù)據(jù)建設(shè)，推進(jìn)政府和公共部門數(shù)據(jù)資源統(tǒng)一匯聚和集中向社會(huì)開(kāi)放，成為重要的國(guó)家戰(zhàn)略。數(shù)據(jù)湖能夠融合海量數(shù)據(jù)資源，創(chuàng)建應(yīng)用體系，在政府、公安、集團(tuán)性企業(yè)、教育等領(lǐng)域?qū)⒂泻艽蟮陌l(fā)展空間。

目前政府以及集團(tuán)性企業(yè)對(duì)于上下級(jí)單位、跨部門數(shù)據(jù)共享的問(wèn)題，存在強(qiáng)烈的需求。除了可以解決組織內(nèi)部的數(shù)據(jù)共享和開(kāi)放之外，數(shù)據(jù)湖還可以應(yīng)用在跨組織、跨行業(yè)的數(shù)據(jù)共享。”李偉文指出。

“此外，政府擁有很多面向公眾的數(shù)據(jù)開(kāi)放平臺(tái)，目前基本上停留在靜態(tài)的數(shù)據(jù)共享，數(shù)據(jù)無(wú)法及時(shí)更新。如果通過(guò)數(shù)據(jù)湖共享平臺(tái)對(duì)社會(huì)開(kāi)放公共數(shù)據(jù)資源，就可以實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的便捷化共享，解決數(shù)據(jù)動(dòng)態(tài)更新的難題。”

在教育行業(yè)，通過(guò)把數(shù)據(jù)湖開(kāi)放給科研機(jī)構(gòu)、高校，能夠有效促進(jìn)基于數(shù)據(jù)的產(chǎn)學(xué)研合作。

“高校擁有技術(shù)和算法，企業(yè)擁有數(shù)據(jù)。把企業(yè)脫敏后的數(shù)據(jù)存儲(chǔ)至數(shù)據(jù)湖，由高校進(jìn)行科研探索，研究成果可以回饋給企業(yè)，形成一個(gè)基于數(shù)據(jù)的產(chǎn)學(xué)研的閉環(huán)。”

品高云數(shù)據(jù)湖應(yīng)用場(chǎng)景一覽

云計(jì)算與數(shù)據(jù)湖的深度融合

在談及數(shù)據(jù)湖與品高云的關(guān)系，李偉文認(rèn)為，數(shù)據(jù)湖與品高云平臺(tái)的深度融合，讓用戶直接利用云的運(yùn)維來(lái)管控整個(gè)大數(shù)據(jù)集群，享受私有云的彈性、安全、多租戶隔離等優(yōu)勢(shì)，使得用戶能夠更加專注于業(yè)務(wù)層面。

“在完成了某個(gè)大數(shù)據(jù)任務(wù)后，用戶通過(guò)云平臺(tái)直接回收這部分計(jì)算資源，大大提升資源的有效利用率。同時(shí)，品高云數(shù)據(jù)湖支持多租戶模式，各個(gè)部門、各個(gè)應(yīng)用的數(shù)據(jù)之間可以進(jìn)行邏輯隔離，保障了數(shù)據(jù)擁有者的使用權(quán)和管理權(quán)。并基于完善的授權(quán)體系，實(shí)現(xiàn)租戶之間的數(shù)據(jù)調(diào)用。”

專業(yè)的顧問(wèn)咨詢及服務(wù)能力一直是品高云的硬實(shí)力。“十幾年服務(wù)于企業(yè)用戶的經(jīng)驗(yàn)，使得品高云對(duì)于業(yè)務(wù)的理解都更為深入，能夠根據(jù)不同的用戶實(shí)際情況，提供從規(guī)劃、建設(shè)到業(yè)務(wù)管理的咨詢服務(wù)，并基于平臺(tái)進(jìn)行二次開(kāi)發(fā)來(lái)滿足個(gè)性化需求，讓數(shù)據(jù)湖平臺(tái)的建設(shè)能夠更加貼近企業(yè)客戶的需要。”

以基礎(chǔ)性的數(shù)據(jù)治理為例，很多企業(yè)在構(gòu)建大數(shù)據(jù)平臺(tái)的過(guò)程中，往往意識(shí)不到數(shù)據(jù)治理的重要性。

“數(shù)據(jù)的標(biāo)準(zhǔn)化、數(shù)據(jù)質(zhì)量以及元數(shù)據(jù)的管理等等這些臟活、累活往往是缺失的，這樣的大數(shù)據(jù)平臺(tái)雖然短期內(nèi)會(huì)有一些成果，但是數(shù)據(jù)不統(tǒng)一、難以提升的數(shù)據(jù)質(zhì)量等基礎(chǔ)性的數(shù)據(jù)問(wèn)題會(huì)限制平臺(tái)的可持續(xù)發(fā)展，不利于平臺(tái)的長(zhǎng)期運(yùn)營(yíng)。”

而數(shù)據(jù)治理是一個(gè)涉及到技術(shù)、流程、組織、規(guī)范等的系統(tǒng)化工程，除了平臺(tái)的搭建之外，更需要從數(shù)據(jù)治理體系的頂層設(shè)計(jì)進(jìn)行考量。品高云數(shù)據(jù)湖在產(chǎn)品體系中提供專門針對(duì)數(shù)據(jù)治理組件的同時(shí)，技術(shù)團(tuán)隊(duì)會(huì)為用戶提供咨詢和規(guī)劃服務(wù)，幫助用戶構(gòu)建一套適合企業(yè)自身的數(shù)據(jù)治理體系，持續(xù)運(yùn)行，提升、挖掘數(shù)據(jù)的應(yīng)用價(jià)值。

展望未來(lái)，李偉文認(rèn)為，在數(shù)據(jù)匯聚層面，會(huì)有越來(lái)越多的企業(yè)往跨組織邊界的方向拓展，在內(nèi)部的數(shù)據(jù)已經(jīng)匯聚比較完善的情況下，通過(guò)往外延伸，與外部數(shù)據(jù)融合實(shí)現(xiàn)創(chuàng)新，來(lái)推動(dòng)商業(yè)模式和業(yè)務(wù)創(chuàng)新。同時(shí)，機(jī)器學(xué)習(xí)、區(qū)塊鏈等新興技術(shù)也有望在大數(shù)據(jù)領(lǐng)域大施拳腳。

“雖然目前更多地停留在概念炒作階段，但隨著技術(shù)的成熟，相信利用機(jī)器學(xué)習(xí)進(jìn)行數(shù)據(jù)預(yù)測(cè)的落地案例會(huì)越來(lái)越多，品高云目前正在構(gòu)建機(jī)器學(xué)習(xí)的相關(guān)平臺(tái)和模型。另外，對(duì)于跨組織的數(shù)據(jù)共享來(lái)說(shuō)，信任是一大問(wèn)題，這塊我們也在基于區(qū)塊鏈技術(shù)進(jìn)行積極探索。”