在云計(jì)算之前，大規(guī)模分布式系統(tǒng)與計(jì)算應(yīng)該是是網(wǎng)格計(jì)算和集群計(jì)算。在對(duì)比分析之后，云計(jì)算的最重要的區(qū)別就是自動(dòng)化和Self-service自服務(wù)。應(yīng)用云的企業(yè)，尤其當(dāng)面對(duì)復(fù)雜的系統(tǒng)應(yīng)用時(shí)，能做到按需分配和自服務(wù)的往往并不多。不管是作為一項(xiàng)服務(wù)發(fā)布給用戶，還是作為其它服務(wù)的底層平臺(tái)系統(tǒng)，能否提供自動(dòng)化尤為重要，自動(dòng)化的資源管理、自動(dòng)化的服務(wù)提供、自動(dòng)化的服務(wù)創(chuàng)建和lifecycle管理等等。自動(dòng)化才是企業(yè)應(yīng)用云計(jì)算的最大挑戰(zhàn)，關(guān)系到云計(jì)算使用的難易程度、關(guān)系到云計(jì)算的可用性，甚至關(guān)系到服務(wù)性能。
鄭軍博士表示，云計(jì)算的核心之一，就是大型分布式系統(tǒng)的資源管理。可以從兩個(gè)維度觀察云的自動(dòng)化是如何被推動(dòng)和發(fā)展的。一是虛擬化的發(fā)展，從2008年虛擬化熱度到2014年Docker出現(xiàn)，輕量級(jí)Linux容器實(shí)現(xiàn)了對(duì)X86服務(wù)器資源一個(gè)更細(xì)粒度的劃分，為資源管理提供了更細(xì)顆粒度的調(diào)度單元。二是軟件定義的發(fā)展，從軟件定義網(wǎng)絡(luò)發(fā)展到今天很大程度上的軟件定義一切，軟件定義實(shí)現(xiàn)了資源調(diào)度對(duì)象的拓展和延伸。同時(shí)，軟件定義也打破了硬件和軟件的隔閡，能夠快速為用戶創(chuàng)建無(wú)縫服務(wù)。從另外一個(gè)角度，這提供了基礎(chǔ)，使得未來(lái)IaaS和PaaS的界限會(huì)越來(lái)越模糊，二者越來(lái)越統(tǒng)一。
當(dāng)然，云計(jì)算的發(fā)展更離不開(kāi)開(kāi)源。可以說(shuō)開(kāi)源軟件的發(fā)展直接推動(dòng)了云的發(fā)展，沒(méi)有開(kāi)源軟件就沒(méi)有云，就沒(méi)有工業(yè)界今天的發(fā)展。
未來(lái)的服務(wù)將由更大型的云數(shù)據(jù)中心提供，大型云數(shù)據(jù)中心內(nèi)部是成千上萬(wàn)的物理服務(wù)器和更趨向透明化簡(jiǎn)單化的硬件處理單元完成。如何在這樣的前提下，為一個(gè)或復(fù)雜或簡(jiǎn)單的任務(wù)，云平臺(tái)在后臺(tái)調(diào)度聚合成千上萬(wàn)的子任務(wù)來(lái)協(xié)同計(jì)算和處理，這是非常有挑戰(zhàn)性。當(dāng)部署多層的分布式系統(tǒng)的時(shí)候，如何做到跨層全局統(tǒng)一的管理，包括資源管理等方面仍存在諸多challenge。舉例來(lái)說(shuō)，如果部署一個(gè)Spark大數(shù)據(jù)系統(tǒng)，很多用戶會(huì)選擇OpenStack作為最底層架構(gòu)，Spark通過(guò)Mesos、YARN來(lái)管理資源，如果再基于Docker進(jìn)行spark部署，那么這三層資源的調(diào)度和綜合管理就是很大的問(wèn)題。工業(yè)界還沒(méi)有一個(gè)很好的答案。華云數(shù)據(jù)在這方面也正在進(jìn)行實(shí)踐，設(shè)計(jì)通用的資源管理系統(tǒng)，對(duì)接Spark大數(shù)據(jù)系統(tǒng)和云平臺(tái)。
鄭軍博士也談到，SDN和NFV近年來(lái)的發(fā)展也是如日中天，但是在自動(dòng)化的資源管理方面，SDN和NFV跟Openstack結(jié)合，現(xiàn)在沒(méi)有標(biāo)準(zhǔn)的答案。
那么當(dāng)企業(yè)搭建一個(gè)大數(shù)據(jù)系統(tǒng)時(shí)，應(yīng)該怎么做?鄭軍博士分享了華云數(shù)據(jù)在這方面的實(shí)踐成果。搭建一個(gè)真正的生產(chǎn)大數(shù)據(jù)系統(tǒng)時(shí)，所有的邏輯和操作流程大約20個(gè)左右，甚至更復(fù)雜。部署大數(shù)據(jù)系統(tǒng)，尤其在云上進(jìn)行部署時(shí)將面臨很大的問(wèn)題。華云數(shù)據(jù)的實(shí)踐理念是“事件驅(qū)動(dòng)”。首先通過(guò)資源調(diào)度，即通過(guò)SDN和NFV將底層軟硬件打通。它需要一個(gè)X86的集群，也需要不同的軟件組件。目前華云數(shù)據(jù)已經(jīng)做到了“事件驅(qū)動(dòng)”，在華云私有云平臺(tái)上封裝了大數(shù)據(jù)系統(tǒng)的支撐模塊。另外一個(gè)維度與服務(wù)相關(guān)，包括服務(wù)聚合和數(shù)據(jù)自動(dòng)分析。華云數(shù)據(jù)正在進(jìn)行基于此的研發(fā)和創(chuàng)新，沿著自助機(jī)器學(xué)習(xí)的方向往前走。
在云計(jì)算大會(huì)上分享的最后，鄭軍博士談了他對(duì)云未來(lái)發(fā)展的三個(gè)觀點(diǎn)。一是云的加減法，也就是對(duì)于用戶而言，云變得越來(lái)越簡(jiǎn)單、越來(lái)越透明;而對(duì)于華云數(shù)據(jù)這樣的云服務(wù)提供商來(lái)說(shuō)，需要在紛繁復(fù)雜的軟硬件資源上提供無(wú)縫的聚合服務(wù)。第二個(gè)觀點(diǎn)是云需要更細(xì)顆粒度的調(diào)度資源和管理機(jī)制，實(shí)現(xiàn)更廣意義的異構(gòu)資源管理。這可以通過(guò)擴(kuò)展軟件定義和Docker等平臺(tái)系統(tǒng)來(lái)實(shí)現(xiàn)。第三就是IaaS和PaaS走向融合統(tǒng)一，界限越來(lái)越模糊。更多的用戶將會(huì)融合度更高的全棧解決方案。
所以，為了給用戶提供好的服務(wù)體驗(yàn)，像華云數(shù)據(jù)這樣的云計(jì)算服務(wù)商仍然在奮斗的路上。
京公網(wǎng)安備 11010502049343號(hào)