企業網D1Net 3月11日訊
據阿里巴巴員工羅李在微博上透露:阿里云梯,這個國內最大Hadoop集群,下線已經進入倒計時。此消息一出,引發業界一片嘩然。
羅李,花名鬼厲,是阿里“云梯”集群的元老級創立者,也是阿里分布式計算團隊的第一批員工,長期從事分布式存儲和hadoop系統的研究和開發。 對于自己一手創建的阿里云梯的啞然而止,羅李在微博上顯得非常沉痛。
阿里云梯,即阿里巴巴的Hadoop集群,是處理阿里巴巴海量數據存儲與計算的系統。其計算模塊已經進化到了Hadoop Yarn,能支持MapReduce、Spark、MPI、RHive、RHadoop等多個計算模型。阿里云梯,可謂是代表了阿里數據平臺的一個時代。
資料來自QCon大會
停了如此龐大而有價值的阿里云梯項目,阿里打算拿什么取代呢?既聲勢浩大的去IOE之后,阿里難道打算去Hadoop?
據傳,阿里確實深受現有Hadoop版本之苦,由于不是Hadoop項目管理委員會的成員,Hadoop開源社區的發展并不受阿里的控制和影響,這使得阿里不能很好地定制Hadoop,在研發上受制頗多。
但是,Hadoop目前已經是大數據分布式平臺的主流選擇,如果說去IOE可以認為是傳統IT向互聯網轉型的必然,去Hadoop?聽上去并不現實。
據小編了解,阿里云梯有兩個版本,被停掉的是云梯1,底層為Hadoop,而云梯2的底層為阿里自主研發的飛天分布式平臺。事實上,阿里巴巴早在2008年,就已經組建了飛天項目。
另據微博網友@vinW透露,云梯2用C++重寫并改良的hadoop,在性能上超出云梯1,而且擁有更多的自主知識產權。
如此看來,云梯2恐怕會成為阿里數據平臺的主力,作為一家有野心的互聯網公司,阿里巴巴做出這樣的技術路線選擇雖在意料之外,卻也在情理之中。