摘要：UAP UDH可以快速整合，存儲，集中管理不同類型的海量數(shù)據(jù)，如非結構化數(shù)據(jù)、半結構化數(shù)據(jù)或結構化數(shù)據(jù)。以提供批量和實時數(shù)據(jù)處理、數(shù)據(jù)分析等服務。用友UAP UDH已經(jīng)做出了一個應用——輿情信息管理系統(tǒng)。

在傳統(tǒng)的消費年代，商家對消費者的購買行為分析止于購買即可。而當移動互聯(lián)網(wǎng)出現(xiàn)之后，消費者購買后又多了一個動作，即分享，從而導致消費習慣的改變。消費市場決定著商家的產(chǎn)品和整體策略，因此，在社會化大數(shù)據(jù)爆炸的年代，各行業(yè)企業(yè)不得不關注這些大數(shù)據(jù)，并提高其利用率。

如何對這些數(shù)據(jù)進行整理分析?以獲得市場的真實聲音，了解客戶的切實需求。企業(yè)不禁陷于困擾。“暢想IT講堂”近日組織了關于大數(shù)據(jù)的在線討論，用友UAP數(shù)據(jù)平臺產(chǎn)品部高級軟件工程師張欣從他的項目經(jīng)驗分享了，企業(yè)如何構建大數(shù)據(jù)，處理大數(shù)據(jù)、以及如何應用大數(shù)據(jù)，從而利用大數(shù)據(jù)帶來商業(yè)價值。

張欣的分享來源于他在用友UAPUDH大數(shù)據(jù)處理平臺研發(fā)過程中總結的技術以及項目經(jīng)驗。UAPUDH可以快速整合，存儲，集中管理不同類型的海量數(shù)據(jù)，如非結構化數(shù)據(jù)、半結構化數(shù)據(jù)或結構化數(shù)據(jù)。以提供批量和實時數(shù)據(jù)處理、數(shù)據(jù)分析等服務。

　　用友UAP UDH大數(shù)據(jù)處理平臺工作流程

很多企業(yè)并不是十分了解大數(shù)據(jù)，也不清楚該如何構建大數(shù)據(jù)平臺。張欣表示，對于傳統(tǒng)企業(yè)而言，做大數(shù)據(jù)之前應該有個具體的計劃，分步驟進行。大體可分為四步：

第一，建立數(shù)據(jù)化計劃，實現(xiàn)數(shù)據(jù)的錄入和存儲。企業(yè)最先需要考慮的是，需要保存哪種類型的數(shù)據(jù)。各個公司因業(yè)務模式的不同，需要涉及的數(shù)據(jù)也不同，是更加關注產(chǎn)品還是企業(yè)運營亦或是人力的數(shù)據(jù)資源，這些問題需要在建立數(shù)據(jù)計劃之初就做好考量。但涉及客戶體驗的數(shù)據(jù)，比如家電的零售賣場，客戶所使用的交通工具、是否有老人小孩的陪同、看了哪些產(chǎn)品、最后買了什么等，這種客戶素描形式的數(shù)據(jù)需要企業(yè)特別重視。或許當前這些數(shù)據(jù)還沒有納入到業(yè)務體系的審核，但在傳統(tǒng)企業(yè)比拼客戶體驗和服務意識的未來，這些數(shù)據(jù)經(jīng)過挖掘和分析后將產(chǎn)生巨大的價值。

第二，建立數(shù)據(jù)管理和應用平臺。一方面是在IT基礎設施上建立良好的數(shù)據(jù)處理結構，比如數(shù)據(jù)分布式存儲、Hadoop等。另一方面，企業(yè)要建立自己的數(shù)據(jù)管理和應用平臺，包含數(shù)據(jù)的采集、數(shù)據(jù)庫架構、分析模塊、API出口等。需要注意的是，數(shù)據(jù)管理和應用平臺的建立必須從公司業(yè)務出發(fā)，建設適合自己的平臺。

而在數(shù)據(jù)中心建設方面，隨著云計算和數(shù)據(jù)中心的出現(xiàn)，外部數(shù)據(jù)中心的成本已經(jīng)大幅下降，數(shù)據(jù)存儲的費用也不再是障礙，對于很多企業(yè)來說建立自己的數(shù)據(jù)中心并無必要。

第三，量體裁衣建立數(shù)據(jù)團隊。對于大型企業(yè)而言，自建數(shù)據(jù)挖掘的團隊，無論是在成本控制還是業(yè)務響應機制上都相對有利。然而對于中小型企業(yè)來說，自建團隊有時候并無必要，對這類型企業(yè)而言最重要的是將大數(shù)據(jù)思維融入到企業(yè)的日常運營之中。

另外，張欣表示，企業(yè)應為團隊培養(yǎng)一些正確的數(shù)據(jù)理念，比如，數(shù)據(jù)的形式是多種多樣的;數(shù)據(jù)的作用是用來預測;利用分布式存儲計算搭建數(shù)據(jù)處理結構;考量數(shù)據(jù)的外部影響，或者搜索是否存在影響企業(yè)發(fā)展的外部數(shù)據(jù)。

第四，定制好外部數(shù)據(jù)戰(zhàn)略。有哪些外部數(shù)據(jù)會影響企業(yè)的業(yè)務發(fā)展?比如競爭品牌的售價、銷售策略等。這些都需要提前搜尋和沉淀。建立外部數(shù)據(jù)計劃，企業(yè)可以通過公共渠道或者數(shù)據(jù)交換的方法來進行。

　　用友UAP UDH大數(shù)據(jù)處理平臺的構成

當企業(yè)的大數(shù)據(jù)基礎工作都準備就緒之后，就可以對這些數(shù)據(jù)進行有針對性的管理了。依照數(shù)據(jù)收集、收集存儲、數(shù)據(jù)處理、數(shù)據(jù)呈現(xiàn)這樣一個順序來進行。

首先，數(shù)據(jù)收集。要對來自網(wǎng)絡包括物聯(lián)網(wǎng)和機構信息系統(tǒng)的數(shù)據(jù)附上時空標志，去偽存真，盡可能收集異源甚至是異構的數(shù)據(jù)，必要時還可與歷史數(shù)據(jù)對照，多角度驗證數(shù)據(jù)的全面性和可信性。

其次，數(shù)據(jù)存儲。要達到低成本、低能耗、高可靠性目標，通常要用到冗余配置、分布化和云計算技術，在存儲時要按照一定規(guī)則對數(shù)據(jù)進行分類，通過過濾和去重，減少存儲量，同時加入便于日后檢索的標簽。

然后，數(shù)據(jù)處理。有些行業(yè)的數(shù)據(jù)涉及上百個參數(shù)，其復雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身，更體現(xiàn)在多源異構、多實體和多空間之間的交互動態(tài)性，難以用傳統(tǒng)的方法描述與度量，處理的復雜度很大，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關聯(lián)進行語義分析，從大量動態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息，并導出可理解的內容。

最后，結果的可視化呈現(xiàn)，使結果更直觀以便于洞察。目前，盡管計算機智能化有了很大進步，但還只能針對小規(guī)模、有結構或類結構的數(shù)據(jù)進行分析，談不上深層次的數(shù)據(jù)挖掘，現(xiàn)有的數(shù)據(jù)挖掘算法在不同行業(yè)中難以通用。

　　用友UAP UDH功能——系統(tǒng)監(jiān)控

有很多大數(shù)據(jù)平臺就是依照以上四個步驟的順序來進行企業(yè)大數(shù)據(jù)處理工作的。比如用友UAPUDH，它可以快速整合、存儲、集中管理不同類型的海量數(shù)據(jù);提供批量和實時數(shù)據(jù)處理服務;與數(shù)據(jù)集成等產(chǎn)品結合為構建企業(yè)級數(shù)據(jù)倉庫提供大數(shù)據(jù)平臺支撐;結合商業(yè)智能產(chǎn)品和挖掘可視化產(chǎn)品，提供數(shù)據(jù)分析服務;提供平臺中各服務組件的管理和系統(tǒng)運行監(jiān)控等。構建于UDH的可靠存儲以及數(shù)據(jù)的批量和實時處理能力，還可以為企業(yè)提供基于搜索引擎，語義分析的精準、全面、自動化的監(jiān)測和分析。

張欣介紹，用友UAPUDH已經(jīng)做出了一個應用——輿情信息管理系統(tǒng)。通過系統(tǒng)可以對企業(yè)的各種維度的輿情信息進行監(jiān)控，收集競爭對手的情報，行業(yè)的發(fā)展動態(tài)等數(shù)據(jù)變成自己的報告。據(jù)了解，目前用友集團UAP中心目前已用該自主研發(fā)的輿情信息系統(tǒng)替代了之前的第三方平臺服務。張欣告訴記者，UAPUDH還將會把輿情信息管理作為一項服務對外提供。