隨著企業(yè)業(yè)務(wù)不斷上云,微服務(wù)、容器化架構(gòu)的不斷應(yīng)用,兼顧了DevOps標(biāo)準(zhǔn),滿足持續(xù)交付基本訴求的企業(yè)數(shù)據(jù)中臺采用云原生架構(gòu)成為了必然趨勢,正如智領(lǐng)云科技聯(lián)合創(chuàng)始人兼CTO 宋文欣所言:“數(shù)據(jù)中臺必須要有云原生這樣一個架構(gòu)作為它的底座,云原生和數(shù)據(jù)中臺是不可割裂的兩個部分。也就是說,數(shù)據(jù)中臺必須要建設(shè)在云原生架構(gòu)的基礎(chǔ)之上,這是它的基本技術(shù)架構(gòu)。”
“在建設(shè)數(shù)據(jù)中臺的過程中不少企業(yè)走入了誤區(qū)。” 宋文欣指出:“數(shù)據(jù)中臺不是一個開箱即用的產(chǎn)品。它不像數(shù)據(jù)庫這樣的IT產(chǎn)品可以部署完直接使用,評判的標(biāo)準(zhǔn)就是性能、穩(wěn)定性,這些非常簡單明了的指標(biāo)。”
“建設(shè)數(shù)據(jù)中臺首先要基于一個技術(shù)架構(gòu)。其次,他需要很多廠商共同配合,甚至要調(diào)整企業(yè)原有的組織架構(gòu)。有從上至下的數(shù)據(jù)驅(qū)動理念,依照自身的特點解決自己的業(yè)務(wù)問題。”
“在建設(shè)數(shù)據(jù)中臺過程中,也不僅僅是技術(shù)問題,還要有方法論來支撐,即便有了優(yōu)秀的技術(shù)提供商也不一定能建設(shè)成功,企業(yè)自身也要認(rèn)同數(shù)據(jù)中臺建設(shè)是一個核心工程,愿意犧牲一些局部利益,來追求全局、長遠的利益。”
“建設(shè)數(shù)據(jù)中臺也不能設(shè)立太遠大的目標(biāo)。剛開始的時候的小目標(biāo)可能就是降低一些成本,不能期待短期帶來巨大的效果,而是需要經(jīng)過不斷探索,通過循序漸進的方式做好數(shù)據(jù)資產(chǎn)的基礎(chǔ)積累。比如首先要拉通數(shù)據(jù)、消除數(shù)據(jù)煙囪,為各種場景下的分析做好準(zhǔn)備,同時要有長期建設(shè)的觀念,從一些能見到收效的痛點著手逐步迭代。”
企業(yè)想要建設(shè)一個好的數(shù)據(jù)中臺必然需要一個實現(xiàn)路徑,那DataOps就是實現(xiàn)這一目標(biāo)的最佳路徑。宋文欣表示:“DataOps的終極目標(biāo)是能夠讓數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師以及數(shù)據(jù)運維人員,在一套完整的體系下,通過工具加方法論的支撐,實現(xiàn)敏捷、快速的數(shù)據(jù)開發(fā)與數(shù)據(jù)管理。”
DataOps涉及到的組件很多,開源的或者商用的,云原生DataOps就是通過“做減法”的方式敏捷地發(fā)揮這眾多組件的作用。宋文欣表示:“云原生的方式能夠很方便地集成一些開源和商用軟件,如數(shù)據(jù)開發(fā)、數(shù)據(jù)安全、數(shù)據(jù)監(jiān)測、質(zhì)量管理、機器學(xué)習(xí)等上百種軟件。通過云原生架構(gòu)提供的接口和插件將這些軟件集成到DataOps平臺上來,讓客戶把主要精力集中于他的業(yè)務(wù)分析、數(shù)據(jù)治理,而不是去直接對接這些復(fù)雜系統(tǒng)的軟件。”
通過容器化和標(biāo)準(zhǔn)化大數(shù)據(jù)組件,云原生DataOps成為這個生態(tài)體系的粘合劑。最終幫助客戶實現(xiàn)提高數(shù)據(jù)研發(fā)效率、降低運維成本、降低存算成本、提高治理效率,即便是新手也可以快速建立生產(chǎn)級的大數(shù)據(jù)應(yīng)用并充分利用數(shù)據(jù)的價值。
以技術(shù)帶經(jīng)驗 構(gòu)建適合企業(yè)自身需要的數(shù)據(jù)中臺
“我們通過BDOS云原生數(shù)據(jù)中臺架構(gòu),幫助企業(yè)打造一個數(shù)字化驅(qū)動的底座。通過這個底座幫客戶建設(shè)企業(yè)的數(shù)據(jù)中臺。” 宋文欣表示:“除了BDOS數(shù)據(jù)中臺架構(gòu),我們還將通過在中臺的建設(shè)過程中積累的經(jīng)驗為客戶提供落地建議。”
“首先幫助客戶做頂層設(shè)計。結(jié)合客戶的業(yè)務(wù)情況,以及未來的規(guī)劃發(fā)展,為他的技術(shù)架構(gòu)選型做好頂層設(shè)計。比如對實時數(shù)據(jù)要求不高時,那前期就不用去做實時數(shù)據(jù)的工作,可采取批處理來解決。如果要對快速產(chǎn)生的數(shù)據(jù)做出響應(yīng),那就要實時處理的技術(shù)架構(gòu)。”
“其次是數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)規(guī)范的建設(shè)。我們遵循OneID、 OneModel 、OneService的數(shù)據(jù)中臺建設(shè)原則。同時要遵循客戶所在行業(yè)的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)規(guī)范。這在建設(shè)數(shù)據(jù)平臺之前就該規(guī)劃好,否則未來數(shù)據(jù)中臺建設(shè)就會雜亂無章,達不到你想要的效果。”
“第三是組織架構(gòu)的調(diào)整。我們會建議企業(yè)需要招聘、擁有怎樣技能的人員,以及相關(guān)的組織架構(gòu),以及這些部門應(yīng)該如何去參與數(shù)據(jù)中臺的建設(shè)。”
“第四,如何建立自己的指標(biāo)體系。這包括投入產(chǎn)出的指標(biāo)體系、關(guān)鍵性能指標(biāo)體系以及監(jiān)控審計體系。從而讓整個數(shù)據(jù)中臺能夠在一個全局可控的情況下運行,然后再按這個過程不斷地去迭代,最終實現(xiàn)數(shù)據(jù)驅(qū)動的決策,從決策中收集數(shù)據(jù),形成技術(shù)、業(yè)務(wù)、決策互相驅(qū)動,相互印證的數(shù)據(jù)閉環(huán)”宋文欣最后說 。