中國數(shù)據(jù)庫技術(shù)大會于2016年5月12日在北京國際會議中心拉開帷幕，該大會以"數(shù)據(jù)定義未來"為主題，云集了國內(nèi)外頂尖專家，共同探討MySQL、NoSQL、Oracle、緩存技術(shù)、云端數(shù)據(jù)庫、智能數(shù)據(jù)平臺、大數(shù)據(jù)安全、數(shù)據(jù)治理、大數(shù)據(jù)和開源、大數(shù)據(jù)創(chuàng)業(yè)、大數(shù)據(jù)深度學(xué)習(xí)等領(lǐng)域的前瞻性熱點(diǎn)話題與技術(shù)。而作為大數(shù)據(jù)與云計算領(lǐng)域的先進(jìn)服務(wù)提供商，新致云自然受邀參加本次展會。在本次展會中，新致軟件助理副總裁虞力先生應(yīng)主辦方邀請以“金融行業(yè)數(shù)據(jù)挖掘”為主題為現(xiàn)場觀眾帶來了一場精彩演講。在此我們特別整理了虞力先生的演講內(nèi)容，同讀者一起分享：
在“互聯(lián)網(wǎng) + 金融”和 “國家大數(shù)據(jù)戰(zhàn)略” 兩大趨勢的影響下，中國金融IT領(lǐng)域掀起了一場規(guī)模空前的轉(zhuǎn)型大潮。傳統(tǒng)的商業(yè)智能模式已經(jīng)無法滿足業(yè)務(wù)發(fā)展的需求和競爭形態(tài)的轉(zhuǎn)變，傳統(tǒng)金融機(jī)構(gòu)都在考慮未來的商業(yè)智能模式、數(shù)據(jù)價值挖掘等如何進(jìn)行變革。
傳統(tǒng)BI體系的邏輯架構(gòu)
我們談變革，首先需要理清傳統(tǒng)BI的體系架構(gòu)
BI 體系經(jīng)典架構(gòu)：底層數(shù)據(jù)——ETL——數(shù)據(jù)倉庫——數(shù)據(jù)集市——報表層——展現(xiàn)層
傳統(tǒng)金融BI邏輯體系結(jié)構(gòu)由四部分構(gòu)成：
1. 事務(wù)處理系統(tǒng)
2. BI系統(tǒng)基礎(chǔ)：ODS、DW、數(shù)據(jù)治理平臺
3. BI應(yīng)用系統(tǒng)：圖中清單報表藍(lán)色部分
4. BI戰(zhàn)略應(yīng)用：BAM、運(yùn)營分析
傳統(tǒng)BI體系面臨的挑戰(zhàn)
上游數(shù)據(jù)、BI體系平臺、終端用戶訴求
數(shù)據(jù)能力的挑戰(zhàn)
BI體系平臺的價值本質(zhì)上體現(xiàn)在數(shù)據(jù)發(fā)現(xiàn)的價值上。
即企業(yè)需要通過數(shù)據(jù)去產(chǎn)生價值，需要通過對數(shù)據(jù)的經(jīng)營，數(shù)據(jù)的探索，看到想知道的。此外，企業(yè)還需要通過數(shù)據(jù)去發(fā)現(xiàn)原來所不知道的存在的問題，或者說原來忽視的盈利點(diǎn)等。
隨著互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的崛起，傳統(tǒng)金融機(jī)構(gòu)業(yè)務(wù)線僅依賴線下分銷渠道的業(yè)務(wù)模式發(fā)生了巨大的變化。金融機(jī)構(gòu)被推上了第一線，同終端客戶的關(guān)系變得前所未有的緊密，對于數(shù)據(jù)變得前所未有的渴望。
什么阻礙了傳統(tǒng)金融機(jī)構(gòu)數(shù)據(jù)價值化的過程？
我們認(rèn)為有三個方面：
1. 國內(nèi)金融機(jī)構(gòu)坐擁海量數(shù)據(jù)，但是往往存在“部門分制”的情況。數(shù)據(jù)在組織內(nèi)部就處于割裂狀態(tài)
業(yè)務(wù)條線、職能部門、渠道端往往是數(shù)據(jù)的真正擁有者，這些擁有者之間常常缺乏順暢的共享機(jī)制，
成就數(shù)據(jù)價值的是數(shù)據(jù)的全連，這要求組織內(nèi)部能夠?qū)崿F(xiàn)搞得數(shù)據(jù)共享與整合，這樣的矛盾導(dǎo)致機(jī)構(gòu)中的海量數(shù)據(jù)往往處于休眠狀態(tài)。
2、數(shù)據(jù)敏感性方向不同：金融機(jī)構(gòu)傳統(tǒng)業(yè)務(wù)模式是線下渠道，金融IT對于業(yè)務(wù)狀態(tài)數(shù)據(jù)完整性、一致性更關(guān)心，對于觸點(diǎn)、過程型數(shù)據(jù)敏感性不高。
3、轉(zhuǎn)型中為何很難解決過程數(shù)據(jù)缺失問題？
大型金融機(jī)構(gòu)存在近千個事務(wù)處理系統(tǒng)，這些系統(tǒng)往往由不同的IT服務(wù)供應(yīng)商開發(fā)。IT架構(gòu)規(guī)劃往往注重職能規(guī)劃，對于更進(jìn)一步的數(shù)據(jù)規(guī)劃上鞭長莫及。
事后補(bǔ)救時需要巨大的代價，比如客戶觸點(diǎn)匯總，往往需要電商、銷售渠道。 因此，我們認(rèn)為在大數(shù)據(jù)時代，首要解決的并不是分析平臺的問題，而是如何從企業(yè)內(nèi)部中發(fā)現(xiàn)數(shù)據(jù)，如何重塑數(shù)據(jù)的流程？
BI平臺能力的挑戰(zhàn)
讓我們回到IT，回到BI體系，看看BI平臺遇到了什么挑戰(zhàn)？
1. 實施周期長、使用成本高
從前面的邏輯體系圖上可以看出金融IT重分層，即將問題分而治之。
同軟件架構(gòu)設(shè)計一樣，分層帶來了，也會帶來復(fù)雜性。
分析需求變更時，業(yè)務(wù)人員不能直接調(diào)整報表，需要IT人員重新建模或修改已有分析模型，耗時較長，響應(yīng)速度較久。
1. 擴(kuò)展性差
處理能力體系擴(kuò)展性差：傳統(tǒng)BI工具更強(qiáng)調(diào)單臺設(shè)備處理能力的標(biāo)準(zhǔn)化，而不是通過橫向擴(kuò)展解決海量數(shù)據(jù)的處理能力。
模型本身擴(kuò)展性差：傳統(tǒng)金融BI采用事先建模的方式，有時候一個需求的變化，可能會波及到BI流程上的各個節(jié)點(diǎn)，從上游交易到ETL過程，到模型的變化，模型的變化又會產(chǎn)生歷史數(shù)據(jù)的變化。
1. 性能瓶頸嚴(yán)重
隨著時間推移 IT實施和規(guī)劃之間的差異會越來越大。原先規(guī)劃是以職能為中心，慢慢演變成和關(guān)聯(lián)度高的上下游系統(tǒng)逐漸耦合。有演變成煙囪式系統(tǒng)的趨勢。
煙囪式架構(gòu)性能的木桶效應(yīng)非常明顯。另一方面也受限于底層數(shù)據(jù)庫平臺， 在大數(shù)據(jù)時代，我們對BI平臺能力需要有更多的要求。
響應(yīng)終端用戶訴求能力的挑戰(zhàn)
對于終端用戶的服務(wù)能力，我們認(rèn)為有兩個主要的問題：
1、是服務(wù)對象缺失
從前面的BI體系的邏輯圖上我們可以發(fā)現(xiàn)，傳統(tǒng)金融BI服務(wù)的終端用戶是高層的業(yè)務(wù)決策人員，中層的執(zhí)行人員，對于前段的銷售線支持非常弱。
如何讓前線
互聯(lián)網(wǎng)思維的根本就是“快”，通過高層決策 - 中層執(zhí)行傳達(dá)到業(yè)務(wù)前線往往已經(jīng)失去先機(jī)。
如何讓“聽見槍聲的同志來指揮戰(zhàn)斗”，如何加強(qiáng)對第一線業(yè)務(wù)人員支持？
2、是傳統(tǒng)BI平臺使用者、需求干系人和終端用戶脫節(jié)
對大型BI體系來說，要取得相關(guān)報表，需要做的是向IT部門提需求。接下來，IT部門按要業(yè)務(wù)人員的要求提取數(shù)據(jù)，再進(jìn)行分析，然后把報表返還給業(yè)務(wù)人員。
而在實際業(yè)務(wù)中，從產(chǎn)生BI需求到拿到報表這個過程，往往希望能在很短的時效內(nèi)完成。
產(chǎn)生這樣情況的原因很復(fù)雜，有BI體系建設(shè)分層過多的原因，也有IT申報流程過長的因素。
但是更重要的原因是BI系統(tǒng)設(shè)計方向不是業(yè)務(wù)導(dǎo)向的，不是面向business user。
因此，這幾年業(yè)務(wù)導(dǎo)向的敏捷性BI非常火。敏捷BI通過動態(tài)的輕量級建模方案取代原先的事先建模的重量級建模方案，可以在使用時對模型進(jìn)行動態(tài)調(diào)整。
但是我們在敏捷BI實際實施中，還是有些沒有達(dá)成預(yù)想中的效果。
一方面是交互性上的問題，面向的business user是，金融行業(yè)和實際銷售一線還是有所區(qū)別的。
目前敏捷BI產(chǎn)品暴露了過多技術(shù)細(xì)節(jié)給到終端用戶，并不是用“同一種業(yè)務(wù)語言”同用戶進(jìn)行交互。
另一方面在數(shù)據(jù)源聯(lián)接功能的大數(shù)據(jù)量上的表現(xiàn)上存在不足，敏捷BI的業(yè)務(wù)導(dǎo)向是發(fā)展方向，但是還遠(yuǎn)未稱得上完美。
新致大數(shù)據(jù)平臺能力
新致大數(shù)據(jù)平臺提供兩套解決方案嘗試解決上面挑戰(zhàn)
業(yè)務(wù)數(shù)據(jù)發(fā)現(xiàn)
提供的價值：
1. 實時性
傳統(tǒng)BI 數(shù)據(jù) -> 信息轉(zhuǎn)化過程中，首先經(jīng)由交易系統(tǒng)的層層分發(fā)，在經(jīng)過ETL - ODS - EW最終呈現(xiàn)
按照我們在金融客戶的經(jīng)驗看，整過程時延最好也在小時級。
新方案中秒級延遲。
包括：數(shù)據(jù)獲取時效，直接由業(yè)務(wù)發(fā)生系統(tǒng)獲取最新的數(shù)據(jù)
數(shù)據(jù)處理時效。
1. 無侵入
無侵入特征對應(yīng)前面談到多家開發(fā)商、龐大IT體系的歷史包袱問題。當(dāng)新的數(shù)據(jù)獲取需求發(fā)生時，不再是傳統(tǒng)的層層改造到最終實現(xiàn)。無需改變原有系統(tǒng)的代碼等，沒有另外的開發(fā)工作量。
1. 動態(tài)定制
有新的業(yè)務(wù)分析視角需要新的數(shù)據(jù)支撐，傳統(tǒng)做法上需要停機(jī)等等，現(xiàn)在方案中通過主控通知系統(tǒng)中的Agent，由Agent自動開啟收集。如果在數(shù)據(jù)探查過程中發(fā)現(xiàn)不是需要的數(shù)據(jù)，也可以立即進(jìn)行關(guān)閉。
BI平臺
開箱即用
業(yè)務(wù)驅(qū)動
引入中間的行業(yè)語義層，業(yè)務(wù)人員接觸的不再是難懂的數(shù)據(jù)表，也不用再面對數(shù)據(jù)重復(fù)、不知道采用哪里數(shù)據(jù)的困擾。業(yè)務(wù)人員僅需要面對自己熟悉的業(yè)務(wù)詞匯，引導(dǎo)式交互，所見即所得編輯，全終端統(tǒng)一。
開源
X86服務(wù)軟件器
成本縮小為原有體系1/10，按需擴(kuò)容。
解決開發(fā)周期長、上線使用率低的問題，2周的快速開發(fā)能夠保障企業(yè)的分析需求快速上線，使得就算最終用戶對數(shù)據(jù)分析的需求有極大的調(diào)整時，也能保證需求的上線效率，從而有效保障了對數(shù)據(jù)分析需求的掌控能力。
水平擴(kuò)展性能指標(biāo)平滑
性能提升10倍以上
可實現(xiàn)海量數(shù)據(jù)實時分析與數(shù)據(jù)聯(lián)動，保障數(shù)據(jù)的實時處理的高性能計算，達(dá)到用戶點(diǎn)擊時進(jìn)行即時計算的效果。
分布式集群無限水平擴(kuò)展
支持可變數(shù)據(jù)模型
分布式計算的引入，可以很好地對當(dāng)前系統(tǒng)的擴(kuò)容問題進(jìn)行處理，當(dāng)數(shù)據(jù)處理需求超過當(dāng)前硬件處理能力時，增加一至數(shù)個分布式節(jié)點(diǎn)即可保障系統(tǒng)穩(wěn)定運(yùn)行，不會造成前期的大規(guī)模投入短期完全失效的尷尬。
以上是來自新致軟件副總裁虞力先生在本次中國數(shù)據(jù)庫技術(shù)大會上演講的主要內(nèi)容，在今后，我們也將會與大家一同分享新致云的開發(fā)經(jīng)驗與技術(shù)干貨。同時，我們也會即時告知大家新致云的參展活動，歡迎各位蒞臨展會展臺，近距離與我們的咨詢師溝通了解新致云的技術(shù)與服務(wù)，我們將竭誠為您服務(wù)！
京公網(wǎng)安備 11010502049343號