企業(yè)數(shù)據(jù)中70%的數(shù)據(jù)是非結構化數(shù)據(jù)。大數(shù)據(jù)時代,企業(yè)非結構化數(shù)據(jù)的幾何式增長,給企業(yè)帶來了巨大的機遇和財富。許多中大型企業(yè)都希望建設自己的私有云存儲系統(tǒng),做好海量數(shù)據(jù)的積累與傳承。
但是,企業(yè)該如何滿足不斷變化的存儲需求,保持系統(tǒng)的穩(wěn)定性?如何有效地規(guī)避系統(tǒng)運行中因各種軟硬件問題而導致的數(shù)據(jù)丟失、損壞等風險?當數(shù)據(jù)增長到一定量級時,又如何對數(shù)據(jù)進行高效利用?圍繞企業(yè)數(shù)據(jù)管理,又存在著一系列的難題與挑戰(zhàn)。
但毋庸置疑的是,數(shù)據(jù)已經(jīng)成為企業(yè)最重要、最具有發(fā)展價值的數(shù)字資產(chǎn)。統(tǒng)一管理與充分利用好企業(yè)數(shù)據(jù),不僅能夠提高企業(yè)日常辦公效率,更為企業(yè)的長遠發(fā)展提供了堅實的基礎支持。
為了推動中國企業(yè)的信息化進程,實現(xiàn)企業(yè)向“互聯(lián)網(wǎng)+”的產(chǎn)業(yè)升級轉變,開始云自主研發(fā)了“KFS私有云存儲系統(tǒng)”,幫助企業(yè)能夠快速搭建私有云平臺,解決海量非結構化數(shù)據(jù)的樹狀存儲及高IO吞吐等問題。
安全、高效的數(shù)據(jù)存儲平臺
數(shù)據(jù)存儲
KFS私有云存儲系統(tǒng)完全基于JAVA開始,支持Linus/Windows部署。整個系統(tǒng)設計為無單點故障,不論是元數(shù)據(jù)還是數(shù)據(jù)塊均支持多副本存儲,避免因各種軟硬件故障而導致的數(shù)據(jù)丟失。
在文件存儲數(shù)量方面,KFS私有云存儲系統(tǒng)采用標準樹狀目錄結構,支持海量小文件,支持存儲去重、大文件切割和冷熱數(shù)據(jù)分離。海量樹狀結構被智能分裂為眾多獨立分區(qū)分散管理,每個分區(qū)掌管一部分樹狀結構中的元數(shù)據(jù),每個分區(qū)可由3臺名稱服務器共同掌管。KFS私有云存儲系統(tǒng)支持無限文件夾層級和無限文件及文件夾數(shù)量。每臺名稱服務器可參與掌管多個分區(qū),可通過動態(tài)增加名稱服務器來彈性擴展整個集群的元數(shù)據(jù)容量。KFS私有云存儲系統(tǒng)集群可管理萬臺以上名稱服務器,以每臺名稱服務器配備32G內存為例,每臺名稱服務器可管理約1000萬個文件元數(shù)據(jù),考慮元數(shù)據(jù)三份副本機制,整個集群可管理文件個數(shù)可達數(shù)百億級別。
而在數(shù)據(jù)存儲容量方面,物理文件按策略均勻分散在眾多數(shù)據(jù)服務器中,企業(yè)可通過動態(tài)增加數(shù)據(jù)服務器來彈性擴展整個集群的物理存儲容量。KFS私有云存儲系統(tǒng)集群可管理百萬臺以上數(shù)據(jù)服務器,整個集群可存儲數(shù)據(jù)容量可達EB級(1EB=1024PB)。
數(shù)據(jù)傳輸
KFS私有云存儲系統(tǒng)采用HTTP通信協(xié)議,支持廣域網(wǎng)部署,信息流與數(shù)據(jù)流分離。KFS私有云存儲系統(tǒng)將數(shù)據(jù)塊均勻分散至各數(shù)據(jù)服務器,可通過增加數(shù)據(jù)服務器數(shù)量來彈性擴展傳輸帶寬。并且,KFS私有云存儲系統(tǒng)支持數(shù)據(jù)文件冷熱分離存儲,通過部分熱數(shù)據(jù)服務器,實現(xiàn)高帶寬要求的文件傳輸服務。
同時,由于元數(shù)據(jù)被分散至多臺名稱服務器管理,且單臺名稱服務器可并發(fā)訪問能力為5000以上,因此整個KFS私有云存儲系統(tǒng)集群的信息流并發(fā)訪問能力可輕松超過一萬。此外,KFS私有云存儲系統(tǒng)支持批量讀取元數(shù)據(jù),可有效降低客戶端和服務器端交互次數(shù)。
數(shù)據(jù)分析
KFS私有云存儲系統(tǒng)兼容Hadoop,可使用KFS作為Hadoop MapReduce及Spark大數(shù)據(jù)分析的數(shù)據(jù)源,支持基于KFS私有云存儲系統(tǒng)進行大數(shù)據(jù)分析。
幫助管好數(shù)據(jù),實現(xiàn)企業(yè)數(shù)據(jù)價值
安全可靠
KFS私有云存儲系統(tǒng)可作為企業(yè)IT應用系統(tǒng)的底層文件庫系統(tǒng),支持多副本容災備份,無單點故障,防止數(shù)據(jù)丟失與用錯。
功能強大
KFS私有云存儲系統(tǒng)支持跨廣域網(wǎng)部署,為企業(yè)提供非結構化數(shù)據(jù)的一站式存儲、加速、備份和大數(shù)據(jù)分析服務,輕松實現(xiàn)數(shù)據(jù)管理與增值。
高性價比
KFS私有云存儲系統(tǒng)支持彈性擴展,為企業(yè)省卻高額研發(fā)成本,帶寬可編程控制,實現(xiàn)企業(yè)流量帶寬成本和文件存儲成本的自動調配,在確保存儲容量和帶寬的同時將成本降至最低。
彈性擴展
KFS私有云存儲系統(tǒng)支持彈性擴容和接口開放,二次開發(fā)更靈活。
數(shù)據(jù)驅動企業(yè)更好發(fā)展
KFS私有云存儲系統(tǒng)是開始云完全自主獨立研發(fā)的真正具有EB級海量文件集群能力的企業(yè)級分布式文件存儲系統(tǒng),支持存儲文件個數(shù)超過千億,支持接入存儲服務器數(shù)量超過萬臺。KFS私有云存儲系統(tǒng)能夠為企業(yè)實現(xiàn)“互聯(lián)網(wǎng)+”提供技術支持,快速整合企業(yè)數(shù)據(jù),幫助企業(yè)不斷探索數(shù)據(jù)價值,推動企業(yè)不斷向前。
亞馬遜前任首席科學家Andreas Weigend曾經(jīng)說過:“數(shù)據(jù)是新的石油。”在未來10年甚至20年,數(shù)據(jù)都會是企業(yè)最重要的數(shù)字財富,即使到現(xiàn)在,我們都還處于大數(shù)據(jù)發(fā)展的初級階段。但是,從現(xiàn)在開始,從數(shù)據(jù)的獲取、儲存到搜索、共享、分析,每一個過程都應該被企業(yè)所重視。一個好的企業(yè)應該未雨綢繆,借助技術和數(shù)據(jù)的力量,創(chuàng)造新的價值。