伴隨著開源Apache Hadoop的采用,數(shù)據(jù)管理軟件廠商已發(fā)生巨變。現(xiàn)在,基于Hadoop的基礎設施的前景日趨明朗,它可以關聯(lián)結構化和非結構化數(shù)據(jù),擴展成本低廉,并能以此獲得快速的市場洞察力。 Hadoop和其生態(tài)系統(tǒng)在彈性、安全性和易用性上會為企業(yè)提供新的能力嗎?
現(xiàn)今CIO在利用大量和多樣化的數(shù)據(jù)時,需要考慮的關鍵技術因素包括:
1、與其他數(shù)據(jù)庫和數(shù)據(jù)管理環(huán)境共存。包括標準的關系環(huán)境(甲骨文)和分析數(shù)據(jù)倉庫(Teradata)。警告:數(shù)據(jù)移動和整合是必要的,但它增加了對各種提取、轉換和加載(ETL)工具的支出,也增加了運營成本。
2、存儲和硬件。創(chuàng)新的壓縮和重復數(shù)據(jù)刪除技術是解決大數(shù)據(jù)問題的關鍵。目前在這方面已有很大的進步,我們現(xiàn)在看到的多層次壓縮在容量方面比原始數(shù)據(jù)減少40倍。然而,重要的是考慮已壓縮的數(shù)據(jù)中有多少最終需要再次膨脹,這將影響你的容量。例如,如果再次膨脹時需要增加30%的容量,那可能不值得把壓縮擺在首位。
3、查詢和分析。并不是所有的數(shù)據(jù)都是同等的,查詢和業(yè)務分析的范圍變化很大,這取決于使用情況。有合適的工作工具是必須的。在許多情況下,快速反應的SQL查詢將足以生成所需要的信息。在其他情況下,深層的分析查詢需要一個具有完整的操作界面和可視化功能的商業(yè)智能工具。正確部署專有技術和開源Hadoop,將幫助您的組織實現(xiàn)具有規(guī)模的快速分析,同時防止運營成本不斷攀升。
4、規(guī)模和管理能力。由于企業(yè)面對不同的數(shù)據(jù)庫和分析環(huán)境,因此向外和向上的擴展能力是非常重要的。簡單的向外擴展能力是Hadoop為什么會被企業(yè)迅速采用的原因。通過低成本的服務器集群進行大規(guī)模并行處理是關鍵,比其他的數(shù)據(jù)管理方式需要更少的專業(yè)技能,而這直接影響您對IT資源的投資