有鑒于云計算大數(shù)據(jù)分析對網(wǎng)絡(luò)、存儲以及服務(wù)器的嚴格要求，我們毫不奇怪有些客戶會把麻煩的任務(wù)、花費較大的任務(wù)都外包給云計算。雖然云計算供應(yīng)商們表示，他們歡迎這個新的業(yè)務(wù)機遇，支持云計算大數(shù)據(jù)分析可以迫使他們面對可管理的不同架構(gòu)困難。
根據(jù)幾位云計算供應(yīng)商的說法，云計算的彈性特征使它成為大數(shù)據(jù)分析的理想選擇，大數(shù)據(jù)分析是指通過快速實施大容量非結(jié)構(gòu)化數(shù)據(jù)可識別模式和完善業(yè)務(wù)策略。與此同時，云計算分布的特性也將成為大數(shù)據(jù)分析的問題。
“如果你正在運行Hadoop集群和諸如此類的工具，他們給存儲帶來一個真正的高負載，而在大多數(shù)云計算中，存儲的性能并不足夠好，”CloudSigma的共同創(chuàng)始人和CTO說，CloudSigma是一家位于蘇黎世的基礎(chǔ)設(shè)施即服務(wù)（IaaS）供應(yīng)商。“云計算的大問題就是使存儲以某個水平運行從而確保這種計算，而這也就是為什么有些人不會對大數(shù)據(jù)處理使用云計算的最大原因。”
但是Jenkins和其他的云計算供應(yīng)商們強調(diào)，這些挑戰(zhàn)并不是不可克服的，很多供應(yīng)商們已經(jīng)有計劃調(diào)整他們的云計算架構(gòu)以改善他們所有云計算服務(wù)的容量、性能以及敏捷度，他們預(yù)計還可為云計算中的大數(shù)據(jù)分析提供更好的支持。
“這與越來越多的公司實施云計算時我們所采取的措施一樣：我們?nèi)绾卫^續(xù)為需求提供支持？”Evolve IP的云計算副總裁Joseph Corvaia說，Evolve IP是一家位于賓州Wayne的云計算供應(yīng)商。“但是，我不知道我們現(xiàn)在在做的一切與我們之前所做的有什么樣的不同。我們只是對觀察所消費的東東極具洞察力，根據(jù)在一個特定測量時期中我們所得到的測量數(shù)據(jù)，保持被消費的速度和所需新增的容量的協(xié)調(diào)比例。”
根據(jù)SHI國際（這是一家位于新澤西州Somerset的大型經(jīng)銷商、管理服務(wù)供應(yīng)商（MSP）和云計算供應(yīng)商）首席技術(shù)專家和管理合伙人Henry Fastert的說法，制定一個支持云計算大數(shù)據(jù)分析的架構(gòu)并不比滿足一般云計算服務(wù)快速增長需求的挑戰(zhàn)更艱巨。
“作為一個云計算供應(yīng)商，特別是此時此刻在這個市場，我不知道是否將會有一些大的需求，”Fastert說。“近來，我遇到這樣一個情況，有一家小額博彩公司向我咨詢，我是否能夠在一周的時間內(nèi)增加兩千臺八路虛擬機。幸運的是，我們有能力實現(xiàn)這一點。我們需要定期增加容量，但有時候我們需要在很短的時間內(nèi)增加容量。”
云計算存儲會拖累大數(shù)據(jù)分析
云計算存儲在大數(shù)據(jù)分析方面面臨的挑戰(zhàn)可分為兩類：容量和性能。
從平臺的角度來看，擴大容量是所有云計算供應(yīng)商需要高度密切關(guān)注的事情。
“數(shù)據(jù)保留以每年兩倍或三倍的速度增長著，這是因為客戶方面的原因。當然，這也會影響我們，因為我們需要提供容量，”Corvaia說。
在一個高度虛擬化、分布式云計算中的存儲性能會對它自己非?？量蹋髷?shù)據(jù)分析的需求放大了這個問題，幾個云計算供應(yīng)商都做出了這樣的表示。
SHI國際的云計算戰(zhàn)略是基于該公司的vCore模式而建立的，其資產(chǎn)品牌為“服務(wù)器、存儲器和路由器的有限集合”,Fastert說。分布式存儲架構(gòu)可使SHI國際能夠“真正地優(yōu)化我們基礎(chǔ)設(shè)施的性能，因為它是以粒度形式進行設(shè)置的，”他說。
“存儲也是受到特定類型虛擬化發(fā)展影響的，因此你在你的存儲設(shè)備中傳播任務(wù)的方式也將總是會影響你的性能，”他所。“vCore模型允許我們基于負載的特性傳播這些負載，因此我們就能在我們的vCore基礎(chǔ)設(shè)施上查看客戶負載的特性，然后我們就能夠從一個存儲性能的角度出發(fā)實現(xiàn)跨整個基礎(chǔ)設(shè)施的負載平衡。”
CloudSigma是參與Helix Nebula聯(lián)營企業(yè)的幾家供應(yīng)商中的一家，而Helix Nebula是一家專為科研機構(gòu)提供服務(wù)的歐洲云計算供應(yīng)商組合。其客戶包括歐洲航天局（ESA），ESA將使用CloudSigma的基礎(chǔ)設(shè)施來存儲從明年即將發(fā)射的新衛(wèi)星上采集來的海量數(shù)據(jù)，Jenkins說。他們將從地球發(fā)射的衛(wèi)星將采集環(huán)境數(shù)據(jù)，其中包括氣溫和土壤狀態(tài)等，傳送回ESA云計算的數(shù)據(jù)流可供實時分析。
諸如ESA這樣的大數(shù)據(jù)客戶并沒有要求CloudSigma升級其存儲設(shè)備，但是毫無疑問他們肯定能存儲設(shè)備升級中受益。該公司升級其架構(gòu)，以便于在開始其生態(tài)系統(tǒng)戰(zhàn)略前幾個月就能夠提升整個存儲設(shè)備系統(tǒng)的性能，Jenkins說，沒有什么比在云計算中使存儲設(shè)備運行良好更困難的工作了。
“當你擁有了這個多租戶的環(huán)境并把每個租戶的活動都混合在一起時，它往往看上去就變得越來越隨機了，”Jenkins說。“磁盤式存儲設(shè)備并不適合于跳動讀取，這是因為這類設(shè)備都是旋轉(zhuǎn)運行的，所以它讀取數(shù)據(jù)就變得更具隨機性，對于用戶來說其性能就下降了許多。這是一個內(nèi)在的本質(zhì)問題，所以這就是為什么我們希望遷移系統(tǒng)，讓系統(tǒng)變得更具分布性，從而能夠更好的處理這一類的負載。
通過使用開源平臺和內(nèi)部開發(fā)的組合，CloudSigma建立了一個分層存儲架構(gòu)，它可實現(xiàn)固態(tài)硬盤（SSD）和磁盤存儲器的更高效使用，Jenkins說。其結(jié)果就是，當數(shù)據(jù)分布在超過50或100臺服務(wù)器而不是一臺服務(wù)器上時，整個架構(gòu)就變得具有較少的變異性和較高的性能，他說。
“我們正在整合在每一臺服務(wù)器的本地存儲設(shè)備，使其成為一個大型存儲池，”Jenkins說。除了它不是一個SAN（即存儲區(qū)域網(wǎng)絡(luò)）以外，這幾乎就是一個SAN。
云計算網(wǎng)絡(luò)和架構(gòu)方面的考量
支持客戶在云計算中進行大數(shù)據(jù)分析的挑戰(zhàn)并沒有隨著存儲設(shè)備問題的解決而結(jié)束。云計算供應(yīng)商們表示，針對網(wǎng)絡(luò)和整個云計算架構(gòu)，它需要一個更為全面的方法。
這就意味著承認大數(shù)據(jù)分析并不適合使用云計算，Savvis公司的云計算解決方案副總裁Jonathan King說。但是，這也是互補性托管服務(wù)集合能夠大顯身手的所在，他說。
“你總是有需要滿負荷運行的大塊數(shù)據(jù)引擎，這就意味著它與其他組件不同，是專用基礎(chǔ)設(shè)施的理想選擇，它是負載可變、是適合使用云計算技術(shù)的，”King說。“有很多這樣的工作是批處理的，你將在不同的時間運行四個或八個小時，因此實現(xiàn)從專用到虛擬的轉(zhuǎn)變是真正有必要的。”
云計算中的大數(shù)據(jù)分析還為服務(wù)供應(yīng)商們提出了網(wǎng)絡(luò)方面的問題。通過把所有的合作伙伴和客戶聚在一個云計算中以及運行著一個10千兆以太網(wǎng)網(wǎng)絡(luò)，CloudSigma實施者他的生態(tài)系統(tǒng)戰(zhàn)略，“這意味著你可以真正真正快速、低價地掌控TB級的海量數(shù)據(jù)，”Jenkins說。去年由CenturyLink收購的Savvis也正在考慮云計算大數(shù)據(jù)分析中網(wǎng)絡(luò)因素的影響。
“你不會希望總是傳輸TB級和PB級的數(shù)據(jù)，”King說。“把數(shù)據(jù)保存在那里，然后你可以進行分析。”
隨著SHI國際開發(fā)的一個大數(shù)據(jù)云計算服務(wù)即將問世（有可能將于明年正式發(fā)布），云計算供應(yīng)商正在利用其在云計算高性能計算（HPC）方面的經(jīng)驗，通過與HP公司的合作關(guān)系向互聯(lián)網(wǎng)2聯(lián)盟提供基礎(chǔ)設(shè)施即服務(wù)（IaaS）。除了改善了存儲設(shè)備的性能以外，SHI國際的vCore架構(gòu)還同樣實現(xiàn)了網(wǎng)絡(luò)和服務(wù)器性能的“自我優(yōu)化”,Fastert說。
“事實證明，相同的方式完全能夠正常運行，我們?yōu)镠PC設(shè)計和優(yōu)化vCore的方法完全適用于大數(shù)據(jù)分析應(yīng)用，”他說。“大多數(shù)云計算供應(yīng)商們基本上都是一個單片架構(gòu)，他們可以有大量的服務(wù)器、關(guān)系存儲設(shè)備等等，但所有這些都是單一架構(gòu)的。當你使用vCore模式時，它允許你很容易地優(yōu)化基礎(chǔ)設(shè)施的分段。這就證明了，相同形式的優(yōu)化對于大數(shù)據(jù)分析也具有預(yù)期的良好效果。
京公網(wǎng)安備 11010502049343號