中泰證券是經中國證監會批準設立的大型綜合類創新試點證券公司，集證券、基金、期貨、直投為一體的綜合性證券控股集團。多年來，公司積極致力于為廣大投資者提供證券代理買賣、投資咨詢、財務顧問、證券發行與承銷、收購兼并、資產重組、資產管理、融資融券、證券投資基金代銷、股指期貨中間介紹、向保險機構投資者提供綜合服務等全方位的專業化證券投、融資服務。

憑借良好的專業能力和業績表現，中泰證券得到了社會各界的廣泛認可。2007年以來，公司多次被山東省政府授予“山東省金融創新獎”、“山東省金融發展貢獻獎”;公司先后榮獲“金鑰匙獎”、“中國最具成長性證券經紀商”、“中國最佳證券經紀商”、“最具成長性投行”、“最佳套利服務券商”、“最具創新力證券公司”、“優秀保薦機構”、“金牛投行進步獎”等稱號;在2011年中國證監會證券行業分類評價中，公司成為16家A類AA級券商之一。

而近年來，隨著業務的發展與規模的擴張，中泰證券數據呈指數級增長，各類IT系統數據量已經達到20多TB的規模。每日還有大量新增的日志數據、交易數據需要存儲和處理。中泰證券的IT系統也面臨著一些問題的困擾。

首先是數據存儲量龐大。現有系統存儲了5年的數據，總共20多TB，日志數據超過一半，使用分區存儲方式，歷史數據采用離線存儲方式，存儲資源緊缺，存儲擴展花費非常高。

其次是現有系統計算負載高、延遲長。現有系統在運行中跨歷史范圍查詢延遲長，一次計算的數據量大，計算和存儲資源都存在瓶頸;大范圍查詢時，對生產業務影響較大，例如：持倉分析、對賬流水情況、區間查詢等應用，嚴重影響日常業務的正常運行。

同時，歷史數據服務請求帶來額外工作負擔。歷史數據查詢時需要額外將離線的歷史數據導入，再等到系統資源空閑時進行查詢，不僅效率低，而且工作負擔繁重，也極易出錯。

最后，現有系統的資源已經嚴重緊缺，CPU負載高、存儲空間不足，已經影響到業務的正常發展。

由此背景，本著不斷發展、不斷進步的原則，中泰證券力求解決現有IT系統的這四大問題，并據此做了一些解決方案的調研。希望能夠建設具有高效數據處理能力，同時兼具性價比的新平臺。

調研結果發現，在解決分布式存儲、計算問題上，Hadoop技術近年來得到了廣泛的應用。Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。它是針對大規模分布式數據而開發的軟件框架，目前已經成為企業管理大數據的基礎支撐技術，是解決企業數據中心大數據存儲、大規模數據計算、快速數據分析的優秀基礎數據平臺。

現在物聯網、多媒體、移動互聯時代，Hadoop最適合用于解決由于數據爆發式增長所帶來的傳統架構下存儲和計算瓶頸的問題。

Hadoop技術發展迅速，同時也有眾多國內、外廠商為企業客戶提供了的成熟度一站式的大數據平臺產品，個別技術領先的廠商也已經將Hadoop平臺用于了金融客戶的數據倉庫系統，經調研，恒豐銀行、民生銀行、平安銀行等金融機構，就已經在用Hadoop技術解決現有數據倉庫存儲、計算、分析等問題。

從行業內成功經驗及案例來看，Hadoop平臺已成為現有數據倉庫平臺的必要補充，主要體現在以下五個方面。

首先是數據類型支持，Hadoop平臺擴展了企業數據平臺對數據處理類型的支持。傳統的數據倉庫僅僅能夠處理結構化數據，而對半結構化、非結構化數據的處理，只能依賴于Hadoop平臺，例如：來自新聞的個股/主題新聞聚合、智能研報，情感指數，熱度統計、事件研究、主題跟蹤和發現等等。

其次是數據處理能力方面，Hadoop平臺使得企業數據處理平臺的處理能力變得更強大，它能夠處理從中小數據量到大數據量的數據。能夠作為傳統數據倉庫之前的數據統一存儲和計算平臺，將大規模的數據先進行清洗、計算、建模、匯總等，并將最終的精細化數據傳遞給數據倉庫。例如恒豐銀行就已經將數據倉庫中復雜的、高負載的拉鏈表程序遷移至Hadoop平臺。

同時，在業務應用的支持方面，相比于傳統的數據倉庫平臺，大數據平臺可以完成更多的體現企業特質的有價值的應用，例如：通過數據挖掘、機器學習算法和模型，結合相關數據，完成財經新聞搜索、新聞類型分析、新聞聚類、情感分析、知識圖譜等等。

技術架構上，基于x86服務器集群的Hadoop平臺，通過橫向擴展的方式，線性擴展存儲和計算資源，避免基于傳統IOE架構的下只能進行基于硬件資源的縱向擴展。從而避免計算資源的瓶頸和IO資源的瓶頸。

最后，僅花費40%左右價格，便可以達到甚至超越傳統IOE架構的性能。在性價比方面也極具可行性。

經過對國、內外各個廠商的技術調研，中泰證券選取了星環科技的TDH(Transwarp Data Hub)大數據平臺。星環科技是目前國內極少數掌握企業級大數據基礎軟件技術的數據庫廠商。在全球大數據去IOE的大背景下，Hadoop已成為公認的傳統數據庫的替代品。星環產品Transwarp Data Hub ( TDH ) 功能比肩硅谷同行， 五大組件Hyperbase, Stream，Inceptor，discovery,和TOS的性能和SQL兼容性在業界處于領先水平。

測試結果顯示，針對海量數據的統計型業務需求，星環科技的產品TDH Inceptor能夠提供快速的查詢支持，查詢時間在秒級或分鐘級，大大提高了查詢效率。

針對海量數據的多維度查詢業務需求，TDH Hyperbase能提供極快的查詢支持，測試數據顯示，查詢結果基本在10s以內，極大的提高相應業務場景的查詢效率。而星環科技的TDH平臺 能夠提供很好的存儲過程支持，以滿足中泰證券的業務需求。

經過對現有成熟Hadoop產品、技術，以及金融行業相關應用的調研，星環科技的TDH平臺技術領先、性能優越、功能全面、運行穩定，能夠很好的解決現有平臺存儲、計算、分析等問題，同時能夠滿足中泰證券未來業務發展的需要。

利用星環大數據平臺，將為打造中泰證券新一代數據平臺，為上層應用提供更高效、可擴展的數據服務。利用整體規劃、分布實施的策略，依托星環大數據平臺改造和提升現有數據倉庫系統以及歷史數據查詢系統的性能和穩定性，同時建設財經新聞搜索、新聞類型分析、新聞聚類、情感分析、知識圖譜等基于大數據的分析、挖掘應用，讓數據真正發揮價值。