《企業網D1Net》11月27日訊

近年來，我國快遞行業的規模隨著電子商務的井噴出現了快速的擴張。據統計，全國現在已有上百萬快遞從業人員、十幾萬營業網點、幾十萬輛快遞貨車和一年近百億件業務量。這些數字還在以每年超過40%的速率增長。天文數字的市場需求給快遞公司帶來了巨大的商機和前所未有的挑戰。

首先，快遞行業公司眾多，彼此競爭極為激烈，在人工價格上升的趨勢下還要維持服務的低價并且盈利，就必須嚴格控制成本。而每年的“雙十一”會給公司的處理能力施加遠高于平時的壓力。想必各位買家都已經歷了今年“雙十一”后長達數天乃至一二周的漫長等待。因此，怎樣緩解“雙十一”的爆倉、避免快件變“慢件”是每個快遞公司的難題。

“老問題新辦法”，星環科技和華勝天成聯手為國內某著名物流公司打造了面向未來的大數據Hadoop系統。依靠該系統強大的實時數據處理能力，物流公司的“雙十一”效率明顯比往年高很多。

在項目研究階段，星環科技和華勝天成的開發人員發現快遞的效率其實在于流程管理，而當流程全部計算機化后，快遞公司面臨的難題的答案其實就在自己手中 —— 它就是快遞的每一個生產環節都會產生的大量數據。監控這些數據進而對全國各處理中心的收寄和運載能力、出班投遞計劃做優化調整，公司就能降低成本。分析這些數據來對“雙十一”的趨勢做出預測，公司就能做好準備應對暴漲的需求。然而，快遞生產環節中的數據具有數據量大、類型復雜、結構雜亂的特點，而上層應用對實時性要求很高，傳統數據庫在這樣的情況下捉襟見肘，所以快遞公司需要大數據解決方案。

問題與需求

客戶需要搭建一個大數據平臺來對它在全國的攬投部、處理中心和集散中心的數據(包括已接收、留存件、已下段、未下段、已投遞、未投遞、攬收員、地址、已封發、已發運、未發運等等)進行處理。大數據平臺需要將ESB(企業生產總線)流來的數據實時動態加載進數據庫，進行處理和統計并且實現實時數據查詢。客戶原先的技術在每次處理數據時都需要對所有數據進行一次全面ETL(萃取-轉置-加載)，查詢延時在二十分鐘以上，完全無法進行實時查詢。

星環Hadoop發行版TDH方案實施效果

上圖為TDH平臺中的所有組件。在快遞公司項目中，這些組件中起主要作用的是Transwarp Stream，Transwarp Hyperbase和Transwarp Inceptor。

Transwarp Stream 實時流處理引擎以Spark Streaming為基礎提供強大的流處理能力，它擁有：

●更強的表達能力：支持DAG計算模型

●豐富的輸出方式：HBase，告警頁面，實時展示頁面

●廣泛的應用場景：傳感器網絡處理，服務監控，反作弊

Transwarp Hyperbase 實時在線數據處理引擎以Apache HBase為基礎，是企業建立高并發的在線業務系統的最佳選擇。它擁有：

●多種數據類型的支持: 支持結構化、半結構化和非結構化數據

●高速處理能力: 延時在數毫秒到數百毫秒級，上億并發

●OLAP和批量統計: 支持高速的OLAP統計和SQL離線批處理

●高效的圖形計算: 提供圖形構造API和專有的高效圖算法

Transwarp Inceptor 內存分析引擎提供大數據的高速交互式SQL統計和R語言挖掘。它擁有：

●更快的性能: 比Hadoop快10倍到100倍，比MPP快2倍到10倍

●更強SQL支持: 兼容Oracle PL/SQL和HiveQL語法

●更強分析能力: 支持R語言，提供更多的并行化算法

●BI和報表工具：支持Tableau,SAP BO， Oracle OBIEE

●超高擴展能力：線性擴展，支持GB到PB數據的快速處理

●超強穩定性：經過驗證的穩定版本，7x24小時不間斷運行

這三大組件在快遞公司項目中的工作流程為(如下圖所示)：從ESB總線和網絡文件加載數據到Transwarp Stream 集群中進行處理;處理完畢后存入Transwarp Hyperbase;提供API給上層J2EE應用實時查詢數據;也可以提供JDBC接口給上層J2EE應用從基于Hyperbase建立的Inceptor外表中實時查詢數據。

TDH通過此項目在國內乃至全球的快遞行業中首次用大數據Hadoop發行版實現了生產環節數據的實時監控。雙十一期間完全支持住了年度峰值般巨量包裹數據的實時監測。即便如此，產品的技術性能并未完全用滿，這為后續業務的不斷增長留下了廣闊余地。具體效果如下：

●數據實現實時導入：數據從ESB總線上流入、TDH處理完畢到查詢結果顯示的整個過程不超過1秒，導入平均速度為每秒1700條，僅需要用到TDH最高性能的1/500。

●數據處理時間迅速：Transwarp Stream對單條數據的處理在毫秒級完成，平均一條記錄從處理到進入Transwarp Hyperbase只需要1-2毫秒左右。

●數據查詢簡單高效：合作方的J2EE應用要求的秒級查詢能由TDH平臺輕松勝任。而TDH提供的Java API和JDBC接口可以非常簡單地與現有系統進行集成從而實現數據查詢，對于現有的企業級開發環境極其友好，應用遷移難度很小，快遞公司的工作人員可以無學習成本地上手使用。

TDH可毫無延遲地反映快遞公司遍布全國的海量業務的最真實情況，給了快遞公司簡單易用的工具來對業務的每個環節實時監控，使得快遞公司在海量的快遞業務中都可以快速精準地發現問題，如快件的積壓、遺失、破損等，進而提高服務質量。TDH也可以根據最新的生產數據幫助快遞公司隨時調整優化投遞計劃，為公司降低成本。TDH更可以幫助快遞公司分析趨勢，為“雙十一”和其他節假日帶來的壓力提前做好準備。