精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

分布式存儲助力大數據價值挖掘

責任編輯:楊傳波

2013-10-18 08:54:06

摘自:中國綠色數據中心

對于那些擁有龐大用戶數量的通信網絡運營商來說,其數據的“產量”一直都很大。數據的量級規模需要相應的存儲技術解決方案來支撐,解決方案的能力體現為數據容量、數據處理速度和數據吞吐速率等指標。

數據的量級規模需要相應的存儲技術解決方案來支撐,解決方案的能力體現為數據容量、數據處理速度和數據吞吐速率等指標。

從傳統存儲走向分布式存儲

傳統上,運營商采用關系數據庫(RDB)或數據倉庫(DW),主要處理電信業務運營過程數據、資源信息、話單記錄等結構化的數據類型。對于核心業務,一般的數據容量在20TB量級,吞吐速率IOPS在20K~2M量級;對于非核心業務,數據容量可能達到3PB,吞吐速率IOPS達到1K~10K量級。傳統的存儲服務器采用2~16個控制器加上最大1500塊硬盤的配置,是可以滿足這種量級的關系型數據庫應用需求的。

在移動互聯網數據業務崛起之后,原有的這些結構化數據在全部數據量中所占的比例迅速降低。運營商經常會看到,80%以上的新增數據都是視頻流、網頁鏈接、圖片、文本等非結構化或半結構化數據,也就是如今眾所周知的“大數據”。對于運營商來說,大數據蘊含著眾多的增值業務創新機會。但要利用大數據實現業務創新,必須重新審視存儲解決方案。

如果沿用傳統的SAN方案,采用專用存儲服務器來應對數據擴容的話,需要付出高額的前期投資;而且垂直化的專用存儲管理軟件,難以讓不同的子系統之間共享存儲資源,從而降低了運營商的投資回報率。分布式存儲的引入,能夠很好地解決傳統SAN難以根除的容量和性能均衡分布的難題。

此外,不同類型的數據被訪問或被處理的“熱度”是不一樣的,大量的“冷”數據并不需要很高的響應速度,如果采用可擴展性更靈活的廉價存儲方案,能夠使運營商節省大量的設備投資成本。在分布式存儲系統中,數據類型按照數據的使用“熱度”,可以分為在線、近線、離線數據,對不同熱度的數據采取不同的技術策略。

對于擁有龐大用戶數量的通信網絡運營商來說,其數據的“產量”一直都很大。電信業的數據類型,主要包括客戶信息數據、業務過程數據、網絡運行數據。數據的量級規模需要相應的存儲技術解決方案來支撐,解決方案的能力體現為數據容量、數據處理速度和數據吞吐速率等指標。

從傳統存儲走向分布式存儲

傳統上,運營商采用關系數據庫(RDB)或數據倉庫(DW),主要處理電信業務運營過程數據、資源信息、話單記錄等結構化的數據類型。對于核心業務,一般的數據容量在20TB量級,吞吐速率IOPS在20K~2M量級;對于非核心業務,數據容量可能達到3PB,吞吐速率IOPS達到1K~10K量級。傳統的存儲服務器采用2~16個控制器加上最大1500塊硬盤的配置,是可以滿足這種量級的關系型數據庫應用需求的。

在移動互聯網數據業務崛起之后,原有的這些結構化數據在全部數據量中所占的比例迅速降低。運營商經常會看到,80%以上的新增數據都是視頻流、網頁鏈接、圖片、文本等非結構化或半結構化數據,也就是如今眾所周知的“大數據”。對于運營商來說,大數據蘊含著眾多的增值業務創新機會,如:存儲,查詢,分析處理,以及諸多數據量大、需求靈活多變、需要高聚合帶寬訪問的抽取/轉換/加載(ETL)類應用等。

但要利用大數據實現業務創新,必須重新審視存儲解決方案。如果沿用傳統的SAN方案,采用專用存儲服務器來應對數據擴容的話,需要付出高額的前期投資;而且垂直化的專用存儲管理軟件,難以讓不同的子系統之間共享存儲資源,從而降低了運營商的投資回報率。分布式存儲的引入,能夠很好地解決傳統SAN難以根除的容量和性能均衡分布的難題。典型的分布式存儲系統,采用1~2U的存儲服務器,每臺服務器帶有8~24塊硬盤,在標準的服務器機架上很容易實現性能和容量的擴展,維護也非常簡單。

分布式存儲的發展預示著存儲從專有系統逐漸向開放系統演進。一個完整的系統,從底層往上層大致可分為芯片、硬件、操作系統和軟件、API、管理系統這幾個層次。傳統存儲系統中的芯片和硬件是為存儲功能而定制化的,硬件中的ASIC/FPGA是為特定的簡單重復性功能而設計,優點是速度快、效率高,缺點是計算能力弱,單一硬件模塊無法應對多種任務,而要為整個系統中的眾多任務都設計單獨的專用硬件則復雜度過高。

基于通用的標準化商用硬件平臺,在軟件堆棧中加入不同的軟件功能,利用通用平臺的計算能力來替代專用電路,這就是“軟件定義的存儲”。快速更新的X86硬件產品具備了越來越強大的計算能力,能夠支持的軟件功能也越來越強大,這使得存儲和計算的傳統功能邊界變得模糊,基于標準化硬件平臺的“融合式存儲服務器”逐漸取代定制化芯片和定制化硬件成為大勢所趨。

底層硬件平臺成為標準化之后,相應地,其上的操作系統和軟件層也將從專有系統過渡到開放或半開放系統。未來的存儲系統,可能除了部分中間件仍然使用專有軟件外,用戶將會越來越多地選擇開放的操作系統、開放的API、以及開放的管理系統。

英特爾以新產品線迎合存儲新趨勢

最近英特爾推出的單芯片系統(SoC)C2000系列,主要定位于微型服務器市場,它的一個重要應用場景就是應對不斷增長的“冷數據”存儲市場需求。Avoton是業界首次采用22納米制程工藝制造的微型服務器。其熱設計功耗(TDP)為6~22瓦,包含8個低功耗的“凌動”內核,集成以太網并支持最高達64GB的內存。

Avoton針對特定的輕量型工作負載進行了特性定制和優化,如入門級專用托管服務、分布式內存緩存、靜態網絡服務、內容分發等,以實現最佳效率。Avoton的亮相,使得英特爾除了傳統的高性能“至強”平臺之外,又擁有了一個新利器來助推軟件定義存儲的大趨勢。我們很快會看到,未來數據中心的新存儲系統將以更高的性價比來構建,并實現更高的能效水平。

鏈接已復制,快去分享吧

企業網版權所有?2010-2024 京ICP備09108050號-6京公網安備 11010502049343號

  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 漳州市| 平湖市| 长顺县| 阿巴嘎旗| 新昌县| 兴仁县| 安阳市| 红河县| 丰原市| 佛教| 肇源县| 通榆县| 琼结县| 凤阳县| 阿合奇县| 北票市| 江门市| 乌兰浩特市| 汾西县| 即墨市| 邵东县| 广元市| 三亚市| 屯昌县| 清远市| 威宁| 玉环县| 故城县| 景谷| 秦皇岛市| 斗六市| 会理县| 余姚市| 金平| 靖江市| 古蔺县| 璧山县| 邻水| 子长县| 甘德县| 玉田县|