為了滿足爆炸式增長的用戶和數據量，同濟大學攜手國內領先的IT整體解決方案和服務提供商中科曙光，在全面整合云計算平臺和現有資產的基礎上，采用DS800-F20存儲系統、Gridview集群管理系統，以及Hadoop分布式計算平臺構建出了業內領先的大數據柔性處理平臺，使得同濟大學在信息學科及其交叉學科研究領域邁上一個新臺階。
在硬件高速革新和軟件高度智能化的今天，以“大數據”為代表的新一輪教育信息化建設浪潮推到了我們面前。為了滿足爆炸式增長的用戶和數據量，同濟大學攜手國內領先的IT整體解決方案和服務提供商中科曙光，在全面整合云計算平臺和現有資產的基礎上，采用DS800-F20存儲系統、Gridview集群管理系統，以及Hadoop分布式計算平臺構建出了業內領先的大數據柔性處理平臺，使得同濟大學在信息學科及其交叉學科研究領域邁上一個新臺階。
基礎平臺需要更具靈活性 高效能才能提供差異化服務
創校百年的同濟大學，是一所擁有理、工、醫、文、法、哲、經濟、管理、教育9大學科門類的綜合性大學。作為研究型大學，同濟大學是首批被國務院批準成立研究生院的高校之一，同時也是國家“211工程”和“985工程”重點建設的高水平學府。但隨著用戶規模的擴大，類型的多樣化，層次的差異化，高性能計算作為云計算主要的基礎設施，其傳統的使用模式已經不能完全滿足用戶日益增長的服務需求，并制約了云服務質量的提高。
據介紹，在傳統高性能計算中，所有的服務都運行在高性能計算機服務結點上，導致了結點負載過大，容易出現癱瘓，從而影響用戶的正常使用。另外，在這種開放共享的運行環境下，無法滿足不同用戶的差異化環境設置需求與用戶資源顆粒度使用的需求，也無法保障用戶信息的安全。另外，由于軟硬件的部署和操作都很復雜，針對個體需求搭建完成之后，幾乎不具備重復使用的能力，造成了極大的人力和時間成本浪費，影響了其易用性和使用效率。
同濟大學相關負責人表示：“正是因為這些難題的存在，我們的新一代高性能計算平臺就應該更符合大數據環境下的工作流程，在設計、實施、管理中都必須提供足夠的柔性，來滿足不同應用的需要。在與不同的應用系統進行交互時，要提供足夠的靈活性。而同濟大學要建設的柔性大數據處理平臺，需要具備可反復重構的硬件、軟件，同時還需要對原有投入的IT資源進行整合，避免信息化投資的浪費。”
充分整合現有資源 真正實現柔性建設標準
針對以上需求，曙光公司與負責承建工作的同濟大學電信學院緊密合作，對現有資產和網絡狀況進行了多次研究分析。最終，同濟大學使用了基于曙光公司為其構建的柔性處理平臺。平臺采用了分區方式，其應用將涵蓋三個服務分區和一個共享存儲中心，即網絡信息服務、交通信息分析、醫療數據分析和存儲中心。
同濟大學大數據柔性處理平臺
本方案基于分區方式構建，全面整合了云計算平臺和同濟大學現有資產（IBM、Dell和HP服務器），其它分析節點和服務節點均采用曙光高效能服務器。其中集中存儲系統采用曙光DS800-F20構建，該產品支持FC-SAN/IB-SAN兩種架構，并采用雙冗余的控制器，支持高效能8GbFC以及高帶寬的20GbIB主機接口，穩定且高效。另外，服務器管理基于曙光在各個云計算中屢經考驗的大規模集群管理系統Gridview，在穩定性與可用性方面表現突出。
為保證整個平臺工作流程的通順安全，Gridview在每個計算節點上實行四大邏輯層次，分別為：硬件信息采集層、資源整合共用平臺層、核心模塊層和服務交付層。四層邏輯有條不紊地對從各監控節點系統采集來的信息資源進行優先管理。信息通過采集層向上層提供資源信息時，數據信息被分類存儲在數據庫中，作為元數據向上層提供數據服務。各模塊之間獨立開發，共享整合的公用平臺數據信息，可以對元數據進行自由裁剪，以適應模塊開發的柔性需求。并且可以按照需求，增加新的模塊到平臺中，做到各模塊之間的有效兼容，向用戶提供統一的Web接口，實現對集群的管理和運維，將整合的資源信息以Portal形式表現，對歷史數據進行分析，為用戶提供統一的作業調度界面。
由于曙光公司采用了Hadoop技術搭建分析集群和集中存儲系統，消除了資源孤島，各結點能夠按照業務強度均衡互聯；同時，其獨特的可伸縮性使平臺能夠隨著數據膨脹而擴展，達到真正柔性計算平臺標準。
大幅降低管理成本 分區管理高性價最高
在解決方案部署之后，化解了原有IT平臺存在的支撐能力不足、管理難度較大等諸多問題，同濟大學的領導和各學科負責人對大數據柔性處理平臺給予了高度評價。通過對應用 效果進行總結，可以發現柔性處理平臺帶來很多具體層面的收益：
·充分整合包括云平臺、服務器在內的現有資源，全面保護了原有投資；
·分布式搜索引擎架構采用分區形式，使得系統各個組件之間充分解耦，上層軟件部署更加靈活，極大的方便科研用戶進行各種系統的調整和部署；
·針對不同組件采用分區管理，分區配置物理機和虛擬機資源，強調資源的優化配置，獲得了極高的性價比；
·數據網和業務網分離，這樣就達到了數據通信和業務通信運行時互不影響的目標；
·管理網通信負載較輕，管理操作依托數據網構建，實現全網統一管理，同時管理網不必在配置交換機等其他基礎設備，降低了采購和管理成本。
同濟大學項目負責人表示：“同曙光公司攜手建立的大數據柔性處理平臺，改變了信息化建設中的尷尬狀況，增強了對更多新興應用的支撐能力。其分區設計和應用實現了該平臺的價值最大化，同時也為信息學科及其交叉學科研究領域提供了更高效靈活的應用流程。”
京公網安備 11010502049343號