“知名咨詢公司麥肯錫稱:數(shù)據(jù),已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領(lǐng)域,成為重要的生產(chǎn)因素。”
不久之前引起熱議的《三體》電視劇中,擴寫了原著一段簡單而又發(fā)人深省的文字:畫面龐雜精細的《清明上河圖》與一張近乎空曠的天空照片相比,哪一個信息量更大?《清明上河圖》再恢弘,終究是畫作,所用的技法、筆墨都有跡可循;天空的照片看似空無一物,然而作為真實拍攝的照片,若不拘于分辨率,細節(jié)處處蘊含信息,且規(guī)律難覓,所包含的信息量至少比前者大一至兩個數(shù)量級。
現(xiàn)實之中,傳統(tǒng)數(shù)據(jù)就如同《清明上河圖》,獲取方式固定、種類單一、數(shù)據(jù)量較小,價值體現(xiàn)在專有領(lǐng)域內(nèi);而進入信息時代,幾乎所有的活動都可以被數(shù)字化,海量的各種數(shù)據(jù)在不斷地生產(chǎn)、存儲、使用中,形成了龐雜繁復的“大數(shù)據(jù)”——就像那張?zhí)炜盏恼掌恳粭l消息、圖片背后都包含著海量信息,可挖掘性極強,價值不可估量。對于已經(jīng)成為了數(shù)字經(jīng)濟核心關(guān)鍵要素的數(shù)據(jù),如何更好地進行數(shù)據(jù)存儲、管理、治理、分析,激發(fā)數(shù)據(jù)要素潛能、釋放數(shù)據(jù)真正價值,不僅是挑戰(zhàn),同樣也是機遇。
耕耘數(shù)據(jù)領(lǐng)域十余年,作為專業(yè)的云計算與行業(yè)信息化服務提供商,品高股份以數(shù)百個項目的技術(shù)與經(jīng)驗總結(jié)為基石,沉淀出從數(shù)據(jù)分析到數(shù)據(jù)湖、再到智能湖倉系統(tǒng)的多樣化產(chǎn)品,為品高云計算全棧體系添上濃墨重彩的一筆。
BingoInsight:以云原生重新定義大數(shù)據(jù)
在大數(shù)據(jù)的浪潮下,數(shù)據(jù)湖(Data Lake)興起于2010年,是可以存儲大量的原始數(shù)據(jù)、無需事先對數(shù)據(jù)進行結(jié)構(gòu)化處理的存儲庫或系統(tǒng)。不同于存儲結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉庫(Data Warehouse),數(shù)據(jù)湖可以同時存儲結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和二進制數(shù)據(jù)。
品高股份從2009年開始接觸數(shù)據(jù)分析領(lǐng)域,為行業(yè)客戶提供基于大數(shù)據(jù)的可視化BI分析、業(yè)務支撐能力;但早于數(shù)據(jù)分析之前,品高股份便已投入云計算技術(shù)的自主研發(fā),并于2010 年 2 月就獲得了私有云操作系統(tǒng)商用版本著作權(quán)。深厚的“云基因”,讓品高的大數(shù)據(jù)產(chǎn)品在設計之初,就充分考慮如何利用云的優(yōu)勢,充分利用和發(fā)揮云平臺的彈性+分布式優(yōu)勢,最大限度釋放數(shù)據(jù)價值。
2015 年,品高股份在面臨某省級公安多警種、省市區(qū)多層級的復雜數(shù)據(jù)生態(tài)問題時,對大數(shù)據(jù)平臺的研發(fā)有了一定的思考。結(jié)合多年的云計算自主研發(fā)經(jīng)驗、實踐經(jīng)驗和敏銳的技術(shù)趨勢研判,品高股份認為,大數(shù)據(jù)要有效釋放價值,需要解決跨層級跨行業(yè)跨領(lǐng)域的數(shù)據(jù)互聯(lián)互通問題,構(gòu)筑成熟的數(shù)據(jù)管理能力,同時結(jié)合云計算的優(yōu)勢,為數(shù)據(jù)管理和運用提供支撐。2016 年,品高云數(shù)據(jù)湖管理平臺(BingoInsight)從云中應運而生。
云原生理念下的BingoInsight,采用存算分離架構(gòu)、通過云原生的存儲加速數(shù)據(jù)訪問,通過云原生的計算智能調(diào)度資源、通過云原生的網(wǎng)絡保障數(shù)據(jù)安全,為政企客戶跨部門、跨組織及跨行業(yè)的數(shù)據(jù)共享提供普適性的基礎(chǔ)數(shù)據(jù)支撐環(huán)境,構(gòu)建可持續(xù)發(fā)展的數(shù)據(jù)生態(tài)。
當然,品高股份在云原生及大數(shù)據(jù)領(lǐng)域的探索,遠不止于此。
聚焦政府行業(yè)大數(shù)據(jù),打造品高智能湖倉系統(tǒng)
“十四五”規(guī)劃中提出,要提高數(shù)字政府建設水平,將數(shù)字技術(shù)廣泛應用于政府管理服務,推動政府治理流程再造和模式優(yōu)化,不斷提高決策科學性和服務效率。隨著數(shù)字政府和新型智慧城市建設的不斷推進、國家多項針對政府應用大數(shù)據(jù)政策的出臺,政務大數(shù)據(jù)正在持續(xù)受到關(guān)注。
然而,受制于早期信息化技術(shù)的局限性,政務大數(shù)據(jù)平臺建設存在多個難點。首先,各級政府缺乏全量數(shù)據(jù)集中管理支撐平臺,數(shù)據(jù)孤島顯著;數(shù)據(jù)管理方面,非結(jié)構(gòu)化數(shù)據(jù)無集中管理和使用、政務歷史檔案數(shù)據(jù)無集中數(shù)字化管理;此外,政務應用創(chuàng)新存在缺乏多元異構(gòu)數(shù)據(jù)支撐、數(shù)據(jù)利用不充分等問題。
面對重重阻礙,品高股份基于標準BingoInsight產(chǎn)品,運用云原生的優(yōu)勢,對基礎(chǔ)功能進行打散重組、升級改造;同時根據(jù)政府客戶需求,定制化開發(fā)功能,在政務領(lǐng)域推出大數(shù)據(jù)解決方案——品高智能湖倉系統(tǒng)。
在湖倉一體架構(gòu)中,“湖”是指一種用于數(shù)據(jù)存儲和管理的架構(gòu),它可以實現(xiàn)海量數(shù)據(jù)的管理和處理,并具有良好的擴展性和可靠性;“倉”是指一種用于數(shù)據(jù)處理和分析的技術(shù),它可以實現(xiàn)快速高效的數(shù)據(jù)處理和分析,并具有高靈活性、可擴展性和可靠性。
智能湖倉一體架構(gòu)設計的目的是將湖與倉的優(yōu)勢充分結(jié)合,構(gòu)建一個可以實現(xiàn)數(shù)據(jù)存儲、處理、分析和展示的高效系統(tǒng),以此有效解決傳統(tǒng)技術(shù)棧的瓶頸問題、提高系統(tǒng)的運行效率和管理效率。該架構(gòu)擁有靈活性、可擴展性和可靠性等特點,并且可以支持大數(shù)據(jù)處理、機器學習、深度學習、自然語言處理等技術(shù),以滿足政府行業(yè)客戶多樣化的業(yè)務需求。同時,該架構(gòu)能夠有效解決政府行業(yè)客戶目前在數(shù)據(jù)領(lǐng)域遇到的實質(zhì)性問題,例如數(shù)據(jù)存儲和處理的成本降低、數(shù)據(jù)安全性的提高、數(shù)據(jù)分析的準確性提高和數(shù)據(jù)融合的效率提升等。
品高智能湖倉系統(tǒng)總體由數(shù)據(jù)湖、數(shù)據(jù)倉庫以及服務門戶構(gòu)成。不同于單獨的數(shù)據(jù)湖或者數(shù)據(jù)倉庫,也不是簡單地直接打通數(shù)據(jù)湖與數(shù)據(jù)倉庫,品高智能湖倉系統(tǒng)能夠融合數(shù)據(jù)湖與數(shù)據(jù)倉庫的優(yōu)勢點,讓數(shù)據(jù)在數(shù)據(jù)湖、數(shù)據(jù)倉庫之間無障礙流通,通過多租戶的運營方式,在全量政務數(shù)據(jù)高效入湖的同時實現(xiàn)有效治理、有序管理、便利共享。
在總體設計方面,系統(tǒng)以數(shù)據(jù)湖的開放性,實現(xiàn)原始數(shù)據(jù)進入系統(tǒng)后的預處理、存儲,以及治理好之后數(shù)據(jù)的存儲與管理,而后將預加工的數(shù)據(jù)推送給數(shù)據(jù)倉庫;再以數(shù)據(jù)倉庫作為面向主題、集成、非易失的數(shù)據(jù)集合的特性,對數(shù)據(jù)進行治理、分析、安全管控,形成各類專、主題數(shù)據(jù)重新入湖共享;在數(shù)據(jù)的共享與開放方面,系統(tǒng)還通過服務門戶的統(tǒng)一租戶、統(tǒng)一數(shù)據(jù)目錄、統(tǒng)一服務目錄統(tǒng)管數(shù)據(jù)湖與數(shù)據(jù)倉庫中的原始、專、主題數(shù)據(jù),為平臺用戶提供統(tǒng)一訪問、數(shù)據(jù)、服務能力的“一站式”數(shù)據(jù)服務。
在數(shù)據(jù)存儲與治理方面,品高智能湖倉系統(tǒng)以數(shù)據(jù)主題為執(zhí)行單位,通過數(shù)據(jù)湖對海量復雜的、分散的、碎片化的數(shù)據(jù)進行匯集,抽取相關(guān)數(shù)據(jù)進行數(shù)據(jù)清洗與治理,經(jīng)過沉淀、分層、歸集后,形成高價值、規(guī)范化的的專、主題數(shù)據(jù),高效輸送給數(shù)據(jù)倉庫,提升應用集成的效率和質(zhì)量。
在業(yè)務層面,業(yè)務分析人員等使用者可以運用數(shù)據(jù)倉庫專注于業(yè)務之間的邏輯分析,減少精力分散,降低了用戶使用難度;通過智能湖倉系統(tǒng)能夠?qū)⒔?jīng)過數(shù)據(jù)分析后所產(chǎn)生的數(shù)據(jù)形成BI、分析報告等,使得用戶可以快速看到數(shù)據(jù)展現(xiàn)效果,有效提升數(shù)字化決策的效率,釋放數(shù)據(jù)價值。
身處數(shù)字技術(shù)迅猛發(fā)展的時代,如何在海量數(shù)據(jù)的洪流中、挖掘數(shù)據(jù)這一新興生產(chǎn)要素的潛在價值,成為各行業(yè)的核心重點之一。秉持“中國政企云計算新價值發(fā)現(xiàn)者”愿景,以“讓中國政企數(shù)字化云端之路更簡單”為使命,品高股份在備受關(guān)注的新一代大數(shù)據(jù)技術(shù)架構(gòu)“湖倉一體”領(lǐng)域積極探索,并以品高智能湖倉系統(tǒng),幫助客戶構(gòu)建可持續(xù)交付的數(shù)據(jù)生態(tài)鏈,助力政企行業(yè)數(shù)字化轉(zhuǎn)型往縱深發(fā)展。