銀監(jiān)會(huì)印發(fā)《銀行業(yè)金融機(jī)構(gòu)信息系統(tǒng)風(fēng)險(xiǎn)管理指引 》(2006年)，其中第二十七條：銀行業(yè)金融機(jī)構(gòu)應(yīng)加強(qiáng)數(shù)據(jù)采集、存貯、傳輸、使用、備份、恢復(fù)、抽檢、清理、銷(xiāo)毀等環(huán)節(jié)的有效管理，不得脫離系統(tǒng)采集加工、傳輸、存取數(shù)據(jù);優(yōu)化系統(tǒng)和數(shù)據(jù)庫(kù)安全設(shè)置，嚴(yán)格按授權(quán)使用系統(tǒng)和數(shù)據(jù)庫(kù)，采用適當(dāng)?shù)臄?shù)據(jù)加密技術(shù)以保護(hù)敏感數(shù)據(jù)的傳輸和存取，保證數(shù)據(jù)的完整性、保密性。

銀監(jiān)會(huì)印發(fā)《銀行業(yè)金融機(jī)構(gòu)全面風(fēng)險(xiǎn)管理指引》(銀監(jiān)發(fā)〔2016〕44號(hào))，其中第四十三條：銀行業(yè)金融機(jī)構(gòu)應(yīng)當(dāng)建立與業(yè)務(wù)規(guī)模、風(fēng)險(xiǎn)狀況等相匹配的信息科技基礎(chǔ)設(shè)施;第四十四條 銀行業(yè)金融機(jī)構(gòu)應(yīng)當(dāng)建立健全數(shù)據(jù)質(zhì)量控制機(jī)制，積累真實(shí)、準(zhǔn)確、連續(xù)、完整的內(nèi)部和外部數(shù)據(jù)，用于風(fēng)險(xiǎn)識(shí)別、計(jì)量、評(píng)估、監(jiān)測(cè)、報(bào)告，以及資本和流動(dòng)性充足情況的評(píng)估。

從銀監(jiān)會(huì)的兩次下發(fā)指引文件要求中，我們可以看到，針對(duì)金融行業(yè)的數(shù)據(jù)分析，相對(duì)傳統(tǒng)行業(yè)，在數(shù)據(jù)的采集、存儲(chǔ)和處理過(guò)程中，在數(shù)據(jù)安全性、完整性、業(yè)務(wù)管理全面性上，有著更為嚴(yán)格的要求。

那在金融大數(shù)據(jù)技術(shù)應(yīng)用領(lǐng)域，如何更高效、安全的實(shí)現(xiàn)金融業(yè)務(wù)數(shù)據(jù)的精細(xì)化采集管理，是其中一個(gè)細(xì)分的技術(shù)領(lǐng)域，也是我們今天探討的話題。

金融業(yè)務(wù)大數(shù)據(jù)的采集管理技術(shù)需求

金融行業(yè)的信息化在眾多異構(gòu)系統(tǒng)和DT環(huán)境中，越來(lái)越重視可視化和業(yè)務(wù)關(guān)聯(lián)性，在互聯(lián)網(wǎng)化金融交易和大數(shù)據(jù)技術(shù)應(yīng)用的背景下，相關(guān)數(shù)據(jù)采集、分析的技術(shù)需求演進(jìn)出現(xiàn)了新的變化，那就是分別是分流調(diào)度管理技術(shù)和業(yè)務(wù)可視化技術(shù)。

可視化分析業(yè)務(wù)，需要采集、分析不同類(lèi)別的數(shù)據(jù)，如基礎(chǔ)數(shù)據(jù)，日志數(shù)據(jù)，安全數(shù)據(jù)或特定業(yè)務(wù)數(shù)據(jù)，因此需要分門(mén)別類(lèi)進(jìn)行分類(lèi)調(diào)度。專(zhuān)業(yè)的分析應(yīng)用需要專(zhuān)業(yè)的設(shè)備和系統(tǒng)配合。

比如風(fēng)險(xiǎn)監(jiān)管日趨嚴(yán)謹(jǐn)，每家金融機(jī)構(gòu)對(duì)貸前風(fēng)控、貸后風(fēng)險(xiǎn)管理的重視空前提高。而通過(guò)信息化手段實(shí)現(xiàn)風(fēng)控能力上，數(shù)據(jù)準(zhǔn)確完整，算法和模型是風(fēng)控部署的核心。

現(xiàn)在的金融機(jī)構(gòu)IT架構(gòu)大多分為在線系統(tǒng)、近線系統(tǒng)與離線系統(tǒng)。在線系統(tǒng)主要面向最終用戶的交易請(qǐng)求;近線系統(tǒng)則針對(duì)一段時(shí)間內(nèi)的歷史數(shù)據(jù)進(jìn)行存放和進(jìn)行溯源查詢(xún);而離線系統(tǒng)則對(duì)歷史時(shí)間的數(shù)據(jù)進(jìn)行歸檔，在特殊情況下會(huì)被恢復(fù)進(jìn)行使用。

隨著大數(shù)據(jù)技術(shù)的蓬勃發(fā)展，金融機(jī)構(gòu)對(duì)全量歷史數(shù)據(jù)的認(rèn)知有新的變化。如何從歷史數(shù)據(jù)中挖掘其潛在價(jià)值，如何將離線數(shù)據(jù)在線化以滿足監(jiān)管部門(mén)的需求，是很多銀行開(kāi)始利用大數(shù)據(jù)技術(shù)解決的問(wèn)題。

例如征信，銀行已經(jīng)能夠獲取社會(huì)各類(lèi)有意義的信息進(jìn)行記錄，例如網(wǎng)上的各地各樓盤(pán)的房?jī)r(jià)、人行征信、法院執(zhí)行紀(jì)錄、工商局信息、企業(yè)上下游現(xiàn)金流等信息，然后通過(guò)這種信息對(duì)個(gè)人企業(yè)進(jìn)行分析對(duì)比，對(duì)超常理的數(shù)據(jù)進(jìn)行風(fēng)險(xiǎn)警告，便于審計(jì)人員快速判斷識(shí)別潛在風(fēng)險(xiǎn)。

又比如客戶的POS刷卡記錄，企業(yè)上下游流水賬單，交稅信息等等，整個(gè)可對(duì)企業(yè)進(jìn)行現(xiàn)金流測(cè)算。又或者對(duì)客戶信用卡還款時(shí)間，轉(zhuǎn)賬時(shí)間等等來(lái)判斷客戶手中現(xiàn)金或者回款時(shí)間，把推薦的理財(cái)營(yíng)銷(xiāo)時(shí)間推送給其客戶經(jīng)理等，實(shí)現(xiàn)真正的精準(zhǔn)營(yíng)銷(xiāo)。

總體來(lái)說(shuō)，金融現(xiàn)有的業(yè)務(wù)需要把數(shù)據(jù)的有效分析和靈活應(yīng)用到金融體系中去，而非空談大數(shù)據(jù)應(yīng)用。

那在大數(shù)據(jù)業(yè)務(wù)分析、內(nèi)容安全審計(jì)和業(yè)務(wù)應(yīng)用可視化的應(yīng)用中，面臨最核心問(wèn)題，那就是如何把業(yè)務(wù)流量正確、按需的方式傳遞給所需的數(shù)據(jù)分析系統(tǒng)。筆者認(rèn)為需要專(zhuān)業(yè)的業(yè)務(wù)流數(shù)據(jù)管理系統(tǒng)才能夠精準(zhǔn)的識(shí)別、分類(lèi)和分發(fā)傳遞。

比如很多運(yùn)維日志數(shù)據(jù)是通過(guò)UDP 514傳遞的，那日志服務(wù)器不需要接受其他內(nèi)容，針對(duì)性采集即可。如交易或征信業(yè)務(wù)只需要采集數(shù)據(jù)庫(kù)的Mysql TCP 3306 和Oracle TCP 1521端口往返數(shù)據(jù)，那分析系統(tǒng)也可降低性能負(fù)載，摘取所需數(shù)據(jù)是當(dāng)前數(shù)據(jù)分析的必要措施。

另外不得不說(shuō)的是流量不少是無(wú)用的數(shù)據(jù)載荷。而常見(jiàn)的分析系統(tǒng)平臺(tái)大多為千兆速率，那么網(wǎng)絡(luò)單接口流量在萬(wàn)兆或更高流量時(shí)候，是增強(qiáng)系統(tǒng)分析系統(tǒng)的硬件配置還是通過(guò)數(shù)據(jù)裁剪方式來(lái)部署，那選擇顯而易見(jiàn)是裁剪優(yōu)化而不是升級(jí)分析平臺(tái)的硬件平臺(tái)，因?yàn)槟菍⑹歉甙旱挠布備N(xiāo)成本。

比如交易數(shù)據(jù)或征信數(shù)據(jù)等，可以進(jìn)行剝離掉幀頭幀尾和部分封裝協(xié)議。數(shù)據(jù)分析服務(wù)器(比如性能分析類(lèi))吞吐量較低，無(wú)法承載大流量分析能力，需要將分發(fā)流量進(jìn)行載荷截短，降低數(shù)據(jù)流量帶寬，提升服務(wù)器分析效率。

金融大數(shù)據(jù)采集分析應(yīng)用建議使用專(zhuān)業(yè)分流技術(shù)

上述的金融業(yè)務(wù)可視化分析以及IT系統(tǒng)環(huán)境運(yùn)維過(guò)程中問(wèn)題，是我們常見(jiàn)的數(shù)據(jù)采集、歸類(lèi)、提取再分發(fā)分析的技術(shù)需求和環(huán)境。

因此在金融大數(shù)據(jù)識(shí)別、分類(lèi)采集、分發(fā)存儲(chǔ)等應(yīng)用方面建議使用專(zhuān)業(yè)數(shù)據(jù)分流技術(shù)，因?yàn)槠湎到y(tǒng)的精細(xì)化數(shù)據(jù)流管理功能為相關(guān)業(yè)務(wù)應(yīng)用提供專(zhuān)業(yè)能力的保障，而這個(gè)數(shù)據(jù)分流應(yīng)用并已在諸多的行業(yè)的運(yùn)維和業(yè)務(wù)應(yīng)用可視化領(lǐng)域成熟應(yīng)用。

目前國(guó)內(nèi)市場(chǎng)上還沒(méi)有針對(duì)金融行業(yè)系統(tǒng)應(yīng)用的專(zhuān)業(yè)分流器出現(xiàn)。邁普公司憑借多年服務(wù)于金融經(jīng)驗(yàn)，適時(shí)推出了與國(guó)外品牌相媲美的“網(wǎng)視”系列網(wǎng)絡(luò)“數(shù)據(jù)分流器”產(chǎn)品。三大硬件系列、八大核心功能，在金融行業(yè)“可視化運(yùn)維”部署業(yè)務(wù)中獲得了充分驗(yàn)證和應(yīng)用部署，打開(kāi)了國(guó)產(chǎn)專(zhuān)業(yè)化網(wǎng)絡(luò)分流器的新篇章。

邁普“網(wǎng)視”系列“數(shù)據(jù)分流器”采用定制化專(zhuān)業(yè)流處理芯片，采用靈活流量調(diào)度技術(shù)，針對(duì)金融行業(yè)面臨的全網(wǎng)安全審計(jì)和多業(yè)務(wù)點(diǎn)性能分析需求，重點(diǎn)解決基礎(chǔ)網(wǎng)絡(luò)設(shè)備“流”分發(fā)使用限制多、安全風(fēng)險(xiǎn)高、擴(kuò)展能力弱等問(wèn)題。

過(guò)濾選項(xiàng)可以幫助用戶在數(shù)據(jù)包層級(jí)，選擇發(fā)送何種數(shù)據(jù)包到指定的監(jiān)測(cè)端口。專(zhuān)業(yè)數(shù)據(jù)分流特性能實(shí)現(xiàn)業(yè)務(wù)流量正確、按需的方式傳遞給所需的分析系統(tǒng)，才能實(shí)現(xiàn)高效、快捷的問(wèn)題定位、安全回溯，業(yè)務(wù)分析等應(yīng)用。在滿足上述需求的同時(shí)，更具有不影響原有業(yè)務(wù)網(wǎng)絡(luò)、端口密度高和關(guān)鍵數(shù)據(jù)脫敏等技術(shù)優(yōu)勢(shì)。

“八大核心功能”依次是：分析流M:N、分析流1：N負(fù)載、分析流溯源標(biāo)識(shí)、分析流時(shí)間戳標(biāo)簽、分析流數(shù)據(jù)脫敏、分析流載荷截短、分析流遠(yuǎn)端IP傳輸和分析流對(duì)稱(chēng)HASH，可以滿足運(yùn)維過(guò)程中流量靈活分類(lèi)、流量壓縮、多業(yè)務(wù)支持的三個(gè)關(guān)鍵業(yè)務(wù)需求，解決傳統(tǒng)網(wǎng)絡(luò)設(shè)備的功能不足。

邁普“網(wǎng)視”系列“數(shù)據(jù)分流器”是國(guó)內(nèi)領(lǐng)先的行業(yè)級(jí)數(shù)據(jù)分流器產(chǎn)品，產(chǎn)品功能豐富、定制能力強(qiáng)，目前已經(jīng)與大量流量可視化廠家實(shí)現(xiàn)了應(yīng)用對(duì)接，如天旦、Ixia 、Netscout、賽門(mén)鐵克、Compuware、科來(lái)、綠盟等。