大數據是高性能計算領域最熱門的趨勢。大數據往往是非結構化的大規模數據,這些龐大的數據集中蘊含著對企業極具價值的情報信息。而云計算在過去幾年一直是IT世界的寵兒,因為云計算開創了計算作為服務的新時代,盡管人們對于云計算的安全、可用性和成本仍然存在疑慮。
大數據的規模似乎能夠成為云計算有趣的合作伙伴。大規模數據的管理存在很高的復雜性,正因為如此,大數據分析通常在本地服務器集群中進行。而云計算的優勢在于盡可能有效地優化現有資源。如果部署得當,你沒有理由不結合大數據和云計算的優勢。
通過業務分析在云環境挖掘大數據的價值并不會很麻煩,但是也有一些具體的策略來確保你的企業具有最佳效率。為了讓企業在訪問、分析和改善其業務操作方面處于領先位置,大數據和云環境都必須滿足一定條件。
首先,讓我們看看你的大數據業務分析工具必須具備的三個能力:
1. 使用能夠本地連接到所有主要大數據來源(例如Hadoop和NoSQL存儲)的業務分析工具。
2. 管理能力: 確保業務分析工具能夠有效地管理和協調大數據任務以及傳統IT任務
3. 整合能力: 用于分析的數據很少是來自單一來源。業務分析工具必須具備很好的數據整合能力,需要能夠有效地整合傳統關系型數據庫和非傳統大數據存儲間的數據,例如Hadoop和NoSQL數據庫。
大數據業務分析對云環境的要求也同樣重要。云環境的主要優勢在于具有彈性,根據需要付費,不需要管理企業內部硬件。例如,一家媒體公司在正常情況下,使用其自有的50臺專用服務器集群就能夠滿足其數據處理需求。然而,在超級杯或世界杯期間,需要被處理的數據量可能會增加8到10倍,所以他們通過在公共云臨時增加另外200臺服務器來滿足其需求。以下是你的大數據分析工具成功地在云環境運行應該具備的三個條件:
1. 與云供應商無關: 找到一種能夠在任何云服務(公共云或私有云)運行的分析工具
2. 彈性: 確保能夠在高峰負荷時期快速方便地添加任何計算資源,并在正常情況下減少資源以降低成本
3. 數據通信帶寬: 確保你部署了數據通信管道以有效地將原始大數據移動到云環境。可能你的大數據資源(例如web日志)已經位于云環境中,在這種情況下,你只需要簡單地將大數據文件從一個云供應商復制到另一個云供應商即可。
總之,如果部署得當的話,大數據和云環境的結合絕對是強強聯手。