“
“技術必須和時代的商業需求一致,這樣才能產生真正可以持續發展的產品。”
”
滕昱,
戴爾易安信UDS軟件工程總監,他在戴爾易安信十二年的堅持,作為一個存儲研發人一路走來,在采訪中他告訴了我們這句話。
在這一時期職業生涯中,這也成為了他最重要的領悟。
一追十二年,企業云存儲的發展“起起伏伏,高高低低”,他的故事和經歷會給我們帶來怎樣的啟發和思考?
戴爾易安信UDS軟件工程總監滕昱
?
一個時代,有一個時代的特點
2006年之前,屬于云計算的史前時代。
當時,出現了各式各樣的企業分布式開發與存儲的雛形。例如,IBM聚焦企業分布式開發,早早就提出了網格計算的框架。但是,這樣面對企業開發的繁雜模式,終究未能得到廣泛普及。
其中一個重要的原因在于,包括網格計算在內的“史前云技術”的“生不逢時”,在企業級用戶還沒有出現非結構化數據的海量爆發之時,這些計算的框架自然很難得到用戶的落地與應用。最終因為網格計算在商業模式、技術上的不足,未能取得預期的成功。
2006年被稱為公有云的元年,拉開了一個新時代的帷幕。隨著亞馬遜AWS的S3誕生,對象存儲逐漸被更多的人所認識。
然而,對象存儲其實并沒有一開始打算支持企業應用,S3針對的是同一時間興起互聯網新應用的存儲需求。具體包括了支持REST接口,支持最簡單的儲存需求,甚至S3的API核心一直不支持Update,而把精力放在了支持scale-out易擴容方式。
因此,S3針對的是在公有云平臺上非企業用戶的非結構化海量
數據存儲的需求,對于還沒有考慮上公有云的大部分企業級用戶來說,諸如醫療、銀行、證券等領域的企業級應用,S3公有云的對象存儲在提供靈活和彈性的同時,卻無法滿足這些企業用戶在傳統應用工作負載上的對于安全,效率和開銷的要求。
一個時代,更有一個時代的創新
2006年,也成為了戴爾易安信進入對象存儲領域的重要之年。
這一年,戴爾易安信啟動了Atmos項目,正式開始了企業級對象存儲探索之路。而滕昱也在項目啟動的第二年正式加入了戴爾易安中國COE(Center Of Excellence)上海研發團隊。
只是現在回過頭來看,從2006年到2010年,業界對于分布式對象存儲在企業領域應用還處于初級階段。與公有云海量數據爆發不一樣的是,企業數據量一直處于一個不溫不火的狀態。為此,Atmos產品和研發團隊也經歷了相當長一段時間去尋找突破口,在這段時間中,滕昱也深深體會到了“技術定要配合市場,順應時代潮流”的這一行業發展規律的價值。
事情的發展往往會辨證地統一在一起。就在這幾年的徘徊與摸索中,滕昱帶領并鍛煉了一支擁有強大戰斗力的中國研發團隊。到了2014年5月,借助戴爾易安信Atmos的基礎,融入了分布式存儲的軟件定義基因,戴爾易安信ECS(Elastic Cloud Storage ) 正式走入了全球用戶的視野。
戴爾易安信ECS專為數字化轉型而設計,它采用英特爾® 至強® 處理器,可存儲和管理非結構化數據,對數據實現完全控制,并使安全性和法規遵從性風險得到降低,從而加速組織的數字化轉型。
之后,代表企業級存儲勢力的對象存儲ECS獲得了長足發展。一向在企業級存儲領域穩扎穩打的戴爾易安信,在ECS定位上自然需要與公有云的對象存儲有所區別,但不能完全割裂開來發展,畢竟S3已經成為了對象存儲“事實上的標準API”。
為此,ECS既要對接S3滿足用戶對于自己傳統存儲平臺的云化要求,又要同時滿足企業級用戶針對傳統和下一代工作負載的需求。就此,ECS在S3標準API之外極大地擴充了企業存儲的特性。比如,支持by-range update,提供多站點多活(active-active)的強一致性保證。并且從成本對比來分析,對于企業集中訪問的核心數據集,ECS可以幫助企業用戶顯著減少總體擁有成本。
更為關鍵的是,ECS趕上了2014年之后出現的企業級用戶的非結構化海量數據的暴增趨勢,尤其在2018年下半年出現的企業用戶從公有云回遷的現象,更讓ECS獲得了大量的新用戶。
并且ECS從2016年開始,連續3年在Gartner“魔力象限”的報告中被評為分布式對象存儲的領導者。
生逢其時,做一個積極的參與者
“技術與產品一樣,螺旋上升發展的趨勢十分明顯。”
特別是在2014年,在看到企業數據量呈現大爆發的態勢之后,戴爾易安信認為企業云存儲的時代終于來了,滕昱和他的團隊也感受到了這一點,并堅信“公有云并不是企業開發的唯一出路”。
IDC的報告指出,公有云存儲在以下三個方面始終無法滿足企業用戶的需求。
一是安全性
核心數據存儲在云端,安全方面始終存在隱患,企業用戶有可能被公有云供應商鎖定。
二是性能
針對企業用戶數字資產的全新要求,數據量數據集越來越大,對存儲帶寬和低延遲提出了新的要求。公有云要滿足這個需求,只能把企業所有數據集搬入云端,但是這樣一來,不僅不能滿足第一個要求,而且帶來第三個問題。
三是成本
對于越來越“精打細算”的企業用戶來說,公有云對象存儲的總體擁有成本相對私有云對象存儲來說過于昂貴。
其實,對于大部分企業用戶來說,他們需要的是,通過結合云技術和自有預算,來靈活計劃存儲方式的解決方案。
所以,混合云的方式為用戶帶來了靈活性,其工作負載應用在私有云、公有云上,可以以自身實際需求來自由選擇。況且越來越多的企業用戶在有了多個生產中心和多個數據中心的需求后,自然會需要公有云存儲所沒有的企業級安全性與功能。
針對企業用戶的全新需求,針對不同應用場景,需要提供不同的混合云與多云解決方案,混合云和多云是用戶的未來,也是戴爾易安信的未來。
隨著企業級用戶更為強調數字資產安全,從公有云回遷到私有云數據中心成為全球企業用戶云計算時代下一個有趣的趨勢。
從2018年對象存儲發展的趨勢來看,在私有云與公有云之間,企業用戶需要一個共同的S3 API接口,便于自身把控對象存儲的數據安全。于是,ECS成為了企業在進行內部混合云部署時,在存儲橫向擴展上實現超大規模集群的優選方案,也代表了基于云應用和傳統工作負載的企業存儲基礎架構的先進性和創新性。
但是,ECS對象存儲的性能如何滿足企業用戶更為苛刻的需求?
隨著NVMe-oF技術引入對象存儲領域,性能上的提升,自然也滿足了企業用戶在對象存儲方面的高性能低延時要求。
此外,在最新ECS版本中,滕昱領導著中國研發團隊改寫了核心b-tree數據結構,在小數據(<10KB)上完美解決了存儲效率問題,解決了對象存儲的成本問題。
技術創新與應用需求的契合剛剛好,從而讓企業用戶可以獲得更好的選擇。
ECS歷經了多年的發展,從測試版到1.0版,2.0版,再到3.x版,就這樣迎來了一個更為廣闊的發展時代。
多云之下不止于ECS
但是,通向成功的路千萬條,滿足用戶需求的基石也就不止ECS一個。
“我熱愛這個戴爾易安信中國COE平臺,因為它可以支持我去嘗試新的技術帶來行業引領,就像如果不嘗試Atmos在先,就沒有ECS收獲在后。”滕昱在談及這些年經歷時,非常確定。
十二年對于任何科技公司來說,都是一個很長的時間。
而對于戴爾易安信來說,十二年唯一不變的是對滿足用戶需求方面的不懈追求。
但是,隨著用戶邁向云計算、大數據、物聯網等領域的發展,存儲在技術、方案、產品創新上一直在變。
十二年前,存儲軟件對硬件的依賴性很強。現在,存儲軟件與存儲硬件既可以集成一體化,也可以完全解耦合實現軟件定義的方式。針對用戶TCO整體的變化,戴爾易安信可以提供一體化的軟硬件方案,也可以提供基于開源或容器的創新方案。
企業用戶只需要關注數字資產的本身價值,針對數據的存儲、訪問、安全等方面,戴爾易安信可以基于用戶需求提供統一、高效、創新的數據管理與數據存儲整體方案。
值得關注的一個趨勢是,現在的企業用戶針對云原生的技術需求越來越多。
Pivotal Container Service (PKS) 針對云原生的用戶需求,在針對用戶存儲需求上可以提供更為敏捷的現代化方案。這都源自用戶自身開發方式、運維方式的轉變。
2018年末,AWS在也第一次改變了它多年以來對于混合云的態度,聯合VMware推出了AWS outposts。
展望ECS的未來,戴爾易安信也會迅速跟上這一大趨勢,發布基于Kubernetes的全新架構,這樣ECS的存儲引擎就會完全擺脫對于硬件限制,成為企業用戶的存儲核心部件。
從對象存儲到流式存儲,戴爾易安信早已開始研究和布局物聯網下的全球存儲技術領域的創新與走向。從2017年開始,在戴爾易安信中國COE的發展上,滕昱帶領著一個新的團隊,開始了全新的征程。
“工業物聯網、車聯網和實時欺詐風控的需求正在飛速發展。越來越多的企業新應用,需要的是快速響應客戶需求,并同時學習和適應不斷變化的行為模式。隨著5G 網絡、容器云、高性能存儲硬件水平的不斷提高,實時流處理正在擁有越來越廣泛的市場前景。”
計算是原生的流計算,存儲更需要原生的流存儲與之匹配。這一切必然驅動著開源分布式流存儲Pravega從誕生逐漸走向不久后的成熟。
Pravega取自梵語,意味“Good Speed”
Pravega采用了分層存儲架構,在分布式文件、對象存儲基礎上,提供了一層針對Stream的抽象。實現了冷熱數據的分離,從而有效降低了數據存儲成本,并與以Flink為代表的新一代流處理大數據處理平臺無縫地完美結合。如下圖:
在這樣一個混合云、多云的時代背景下,ECS、Pravega、PKS等與時俱進的創新產品和平臺,終究成為了云時代企業用戶的存儲基石。
在這十二年的職業生涯里,滕昱親身經歷了戴爾與EMC并購并真正融合在了一起。當初的堅定,也讓他在戴爾科技集團的整體發展中得到了更大發揮。
目前來看,作為戴爾科技集團的重要業務群之一,戴爾易安信擁有行業領先的融合基礎架構、
服務器、存儲和
數據保護技術,助力企業實現現代化、自動化以及數據中心轉型,為通過建立混合云、開發云原生應用和大數據解決方案實現業務轉型提供了值得信賴的基礎。
戴爾易安信為遍及180個國家不同規模的客戶提供服務—從全球財富500強至中小型企業—并為客戶提供業界全面的從客戶端到數據中心、再到云端的創新產品組合。
也就是說,滕昱團隊負責的ECS對象存儲和最近發力的流存儲,已經成為了戴爾科技集團旗下戴爾易安信在面向用戶的混合云、多云,IoT等更為復雜的創新場景下重要的存儲選擇之一。
企業開發模式的整體思考
在混合云、多云之下,開源開發方式的發展,產品創新迭代的加快,這一切必然倒逼著企業開發模式必須不斷變化。
作為企業級存儲的重要代表,戴爾易安信研發如何去契合用戶互聯網與云需求下的快速發展,在技術迭代與敏捷開發上,如何做到企業級的嚴謹性與快速的創新性之間的平衡?
尤其在踏上開源流式數據存儲的新征程后,更需要對企業開發模式有著全面的整體思考。在滕昱看來,互聯網開發更看重to C的敏捷開發,強調個人用戶的體驗,以用戶試用來實現開發迭代的快速更新。但是,企業級的開發針對醫院、銀行、證券等行業用戶,強調新技術、功能、工具等開發必須具備安全、可靠、穩定為前提,需要立足企業用戶具備足夠的承諾。
針對新技術的日新月異,企業級產品的開發也不得不面向敏捷開發,實現更多開發測試上的創新與進步。
其實早在2011年,戴爾易安信中國COE開發團隊就開始全面轉向了使用開源開發工具,對于Pravega這樣的開源產品,則完全采用GitHub來管理托管開發的整套代碼和流程。
更重要的是,針對企業級產品的子模塊不絕對區分開發與測試工作,而是整合在一起成為一個工程師團隊,在開發過程中就強調及早測試和測試覆蓋率。在模糊了開發人員和測試人員分工之后,產品測試的人員也會涉及到對設計和代碼審核,更高質量針對新功能設計測試用例,從代碼產生的第一天就保證其質量。
所以從戴爾易安信的企業開發模式來看,在小范圍上保持了敏捷開發的優勢,在大范圍上保證了企業開發的質量和整體的開發路線。實際上就是針對企業用戶組織需要的質量、發布節奏和創新方面,可以用下面以“汽車、火車、輪船”三種開發模式來進行比喻。各有各的用處,也各有各的道理。
??在“汽車開發模式”上,屬于匯總修補升級程序,要求以最短的時間,針對產品軟件打補丁、針對固件做優化。目的是一個穩定發行版本供所有用戶升級使用。
??在“火車開發模式”上,主要針對新功能的發行發布,需要在每年當中實現大的版本更新。
??在“輪船開發模式”上,針對更為復雜的基礎架構的改變,必然需要一個更長的時間與規劃。當準備測試充分后,和“火車”計劃做一個同步。
然后具體到每個功能模塊,先做好本模塊的質量控制,等達到設定的質量標準以后,由“火車”車長根據發布計劃去選擇在下一次“發車”時候可以搭上火車的功能。然后再針對性地做更大范圍內的集成測試和“混亂”(Chaos Monkey)測試。
對于企業存儲而言,隨著商業模式的變化,存儲也在發生新的訪問方式變化。在分布式文件和對象存儲上,一旦融入了對流式存儲的創新,最終將成就一個更為完美的存儲組合。未來的數據存儲定會聚焦支持云原生、容器、虛擬化等新需求,支持企業級的使用需求,支持混合云、多云的需求,支持實時數據、流式數據、物聯網數據爆發式發展的需求。
從對象存儲到流式存儲,滕昱帶領著研發團隊,讓我們看到了一如既往的堅持。滿足用戶需求變化,追求不斷的技術革新,結果導向的確立,就事先明確了技術創新可落地、可實現的價值。
追求卓越,是一種境界,更是一種價值觀。十二年的堅持,滕昱也讓我們看到了追求卓越的真正價值。十二年的堅持是一種力量,更是一種品質與傳承。
因此,未來依然屬于“激情、正直、創新,強調團隊合作與結果導向”的戴爾易安信中國COE研發團隊。
后 記
滕昱已在戴爾易安信工作滿十二年,經歷了企業云存儲的起步,彷徨和尋找突破點,直至現在的混合云多云趨勢下的大爆發的時代變遷。他的職業生涯和業界的風云變幻緊密聯系,也和戴爾易安信的云存儲業務密不可分。
因此我們特地邀請他回顧了這十二年經歷,希望可以帶給存儲行業研發人更多的思考。
良禽擇木而棲,士為知己而搏
目前,戴爾易安信中國COE在北京、成都、上海設立了三個研發中心,各自有所側重方向,研發人員超過了二千人。據可靠消息透露,基于2019年的發展需求,對于有志于從事云計算、大數據、物聯網等相關數據管理、數據存儲領域研發工作的朋友,COE還有大量最新職位放出,有意者請點擊下方二維碼查看詳情。
良禽擇木而棲,士為知己而搏。加入戴爾易安信中國COE,您的成功或將從這里開始。