海量分布式存儲技術(shù)
為保證高可用、高可靠和經(jīng)濟性,云計算采用分布式存儲的方式來存儲數(shù)據(jù)和冗余存儲的方式來保證存儲數(shù)據(jù)的可靠性,從而提供廉價可靠的系統(tǒng)。為了滿足大量用戶的需求,數(shù)據(jù)存儲技術(shù)必須具有高吞吐率和高傳輸率的特點。
云計算的數(shù)據(jù)存儲系統(tǒng)主要有Google GFS(Google File System)和Hadoop開發(fā)團隊的開源系統(tǒng)HDFS(Hadop Distributed File System)。大部分IT廠商,包括Yahoo、Intel的“云”計劃采用的都是HDFS的數(shù)據(jù)存儲技術(shù)。
并行編程模式
為了高效地利用云計算的資源,使用戶能更輕松地享受云計算帶來的服務(wù),云計算的變成哦是必須保證后臺復(fù)雜的并行執(zhí)行和任務(wù)調(diào)度向用戶和編程人員透明。云計算采用MapReduce編程模式,將任務(wù)自動分成多個子任務(wù),通過Map和Reduce兩部實現(xiàn)任務(wù)在大規(guī)模計算節(jié)點中的調(diào)度與分配。
數(shù)據(jù)管理技術(shù)
云計算系統(tǒng)對大數(shù)據(jù)集進行處理、分析,向用戶提供高效的服務(wù)。因此,數(shù)據(jù)管理技術(shù)必須能夠高效地管理大數(shù)據(jù)集。其次,如何在規(guī)模巨大的數(shù)據(jù)中找到特定的數(shù)據(jù),也是云計算數(shù)據(jù)管理技術(shù)所必須解決的問題。云系統(tǒng)的數(shù)據(jù)管理往往采用列存儲的數(shù)據(jù)管理模式,保證海量數(shù)據(jù)存儲和分析性能。云計算的數(shù)據(jù)管理技術(shù)最著名的是Googe的BigTable數(shù)據(jù)管理技術(shù),同事Hadop開發(fā)團隊開發(fā)了累死BigTable的開源數(shù)據(jù)管理模塊HBase。
分布式資源管理技術(shù)
在多節(jié)點并發(fā)執(zhí)行環(huán)境,分布式資源管理系統(tǒng)是保證系統(tǒng)狀態(tài)正確性的關(guān)鍵技術(shù)。系統(tǒng)狀態(tài)需要在多節(jié)點之間同步,關(guān)鍵節(jié)點出現(xiàn)故障時需要遷移服務(wù),分布式資源管理技術(shù)通過鎖機制協(xié)調(diào)多任務(wù)對于資源的使用,從而保證數(shù)據(jù)操作的一致性。Google的Ghubby是最錐你給的分布式資源管理系統(tǒng)。
云計算平臺管理技術(shù)
云計算資源規(guī)模龐大,一個系統(tǒng)的服務(wù)器數(shù)量可能會高達十萬臺并跨越幾個坐落于不同物理地點的數(shù)據(jù)中心,同時還運行成百上千種應(yīng)用。如何有效地管理這些服務(wù)器,保證這些服務(wù)器組成的系統(tǒng)能提供7*24小時不間斷服務(wù)是一個巨大的挑戰(zhàn)。云計算系統(tǒng)管理技術(shù)是云計算的“神經(jīng)網(wǎng)絡(luò)”,通過這些技術(shù)能夠是大量的服務(wù)器協(xié)同工作,方便地進行業(yè)務(wù)部署和開通,快速發(fā)現(xiàn)和恢復(fù)系統(tǒng)故障,通過自動化、智能化的手段實現(xiàn)大會磨系統(tǒng)的可運營、可管理。Google通過其卓越的云計算管理系統(tǒng)維持著全球上百萬臺PC服務(wù)器協(xié)同、高效地運行,起云計算系統(tǒng)管理技術(shù)也被作為企業(yè)核心機密,至今沒有公布任何技術(shù)資料。
綠色節(jié)能技術(shù)
云計算技術(shù)降低了服務(wù)器的采購成本,從而使電源消耗所帶來的運營成本成為云計算計算中心的主要開支之一,為了進一步降低成本,云計算的先去在綠色節(jié)能技術(shù)上進行了大量探索。
傳統(tǒng)數(shù)據(jù)中心空調(diào)冷卻的費用約占整體電費的30%—70%,Google為了節(jié)省能源,在比利時的數(shù)據(jù)中心降溫系統(tǒng)無需冷卻劑,而是采取額室外空氣進行自然冷卻。根據(jù)比利時的氣候條件,每年只有7天左右無法使用自由冷卻方式。在比較炎熱的夏天,Google可以通過云計算管理系統(tǒng)將該數(shù)據(jù)中心的計算任務(wù)轉(zhuǎn)移到其他數(shù)據(jù)中心中。