背景介紹:
硅谷多家技術公司顧問Philippe Nicolas貼出了一張有趣的對象存儲發展歷程圖片,利用數據表細化出內容尋址存儲(CAS)即對象存儲的發展歷程。
該圖表匯總了多家企業不同產品的起源,X軸代表時間線,Y軸則為企業,項目和產品名稱,并作出評論和分析。
和很多創新一樣,這個圖表充分說明,幾乎所有的系統都來自小型廠商。其它IT細分市場是如此,存儲亦是如此,即便后者始終與硬件和基礎設施相關。
圖表中藍色星標代表一些網絡巨頭發表的重要論文。這些論文引起了一連串適用于超大規模環境的對象存儲方案的商業運作。
GFS(谷歌文件系統),MapReduce和BigTable加上Hadoop,亞馬遜Dynamo,雅虎MObStor和Facebook Cassandra一直是上圖大多數公司的主要參考資料。但這些公司并未發現商用產品能夠充分滿足它們的預期需求,還不肯為產品和復雜性的限制大把燒錢,而更樂意基于它們強大的Linux DNA,設計,構建,開發,控制和掌握自身的技術。
為了方便閱讀,左下方進行了標注說明。紅圈代表收購案,橙圈代表OEM,實心藍圈代表開源,空心代表特殊開源,菱形為公司或產品,藍色星標為重要論文,紅色星標為項目,橙色為Apache Hadoop(開源軟件架構),綠色星標代表產品。
第一波浪潮
我們可以清楚地看到1998年到2005年CAS廠商帶來的首波浪潮。FilePool公司顯然走在該行業的前列。該公司設計了一種全新的方式對大量數據進行長期有效存儲。這一舉措同時也拉開了磁盤數據歸檔的序幕。
此外,圖表還列出了Bycast, Evertrust, Permabit, Archivas, Sun(擁有Honeycomb項目——針對固定內容歸檔的技術)公司以及極具潛力的Caringo公司,它為CAS和后期的對象存儲階段之間架起真實的橋梁。
而為了說明這個擁有大好前程細分市場的魅力,幾乎所有廠商都被收購了。
比如:
2001年,FilePool被EMC收購成為Centera產品;
2013年,Evertrust被Nexsan收購,更名為Assureon,然后它又在2013年被Imation以1億美元吞并;
2007年,Archivas 被HDS以1.2億美元收購變為HCP(日立內容平臺),2010年,Bycast被NetApp收購。
第二波浪潮
第二波浪潮是在2004/2005年到2009年,這個時期出現了真正的對象存儲先鋒。該時期和之前定義的CAS時代有小部分重疊。主要的廠商為Caringo, Cleversafe, B-Virtual則變為Amplidata, Compuverde, DDN(Bucket File System),而在2015年,Redcurrant項目分支出了OpenIO公司。
我們同樣列出了Ceph和Gluster,這兩個開源項目很有名,在市場上也備受矚目,后期被紅帽收購,Ceph是2014年通過Inktank以1.75億美元收購,而Gluster則早在2011年就被紅帽以1.36億美元收購。在2003年,紅帽就已經開啟它的存儲收購戰略,以3300萬美元收購Sistina公司用于其集群卷管理器和文件系統。
這一時期也是為保護數據提供更好數據完整性和持久性的新存儲方式正式亮相,糾刪碼方案,通過Cleversafe和Amplidata得到改善。2006年,也是Amazon S3元年,它是由亞馬遜推出的破壞性存儲模式,徹底改變了IT世界。這款云存儲產品只需簡單訂閱即可通過網絡進行遠程訪問。隔年Nirvanix推出,旨在處理市場企業級部分的問題。
第三波浪潮
第三波變革出現在2008/2009年至今,出現了大量的開源項目和產品例如:
OpenStack Swift;
Skylable;
Manta(來自Joyent公司);
Minio;
OpenIO;
Ambry(來自LinkedIn公司);
Torus;
Microsoft Azure;
Google Cloud Storage。
這對大數據和一些瞄準企業,電信運營商或服務提供商內部部署需求的商用產品起到了真正的促進作用。這里我們可以看到一些打算構建并提供新的數據存儲平臺的廠商,采用多個訪問協議或方法作為最終的整合因素。
開始雖然你擁有糾刪碼和訪問法的特性有助于形成對比,但想要差異化的解決方案還是很難。一些廠商增加了HDFS(分布式文件存儲)連通性,而Hortonworks公司提出了Ozone項目(Hadoop對象存儲環境),說明所有這些系統的可能性融合。最終,HDFS只是一個訪問法。
這一時期可能是三波浪潮中最為活躍的時期,包含了絕大多數的開源解決方案。
在2000年,全球只有四款產品存在——FilePool, Bycast, Evertrust和Permabit?,F在全部銷聲匿跡——三家被收購(一些產品仍在進行開發,比如NetApp StorageGRID來自Bycast),Permabit在2011年停產。2010年,約有超過30款產品,其中包含一些開源產品。而現在,因為開源,市場上有超過45個系統發售。
而開源始于2004年Ceph,在2008年加速前行,現在有16個開源系統包含在上述的45個系統中。
收購方面,近幾年來對成立五年以上的公司進行收購已然屢見不鮮。這在上圖有了極好地表現。最大的收購案就是IBM在嘗試競購Amplidata無果之后拿下了Cleversafe。
經驗匯總
從這段CAS與對象存儲發展進程里得出的經驗教訓:
HTTP已經證實了它在存儲即傳輸協議中的價值;
S3成為實際意義上的市場標準;
采用x86商用服務器存儲是現實的,這個軟件定義存儲的出現已證實。而糾刪碼是一個必須條件,尤其在大規模環境;
開源是現實的,它可以更方便快速地應用于高容量系統;
另外,不要忘記文件,它始終存在;
微軟除了Azure完全沒存在感;
Veritas,長期數據和存儲管理巨頭,從賽門鐵克拆分之后保持獨立狀態,也因為缺乏產品而被踢出局;
最后,我們可以重新審視小型廠商和團隊的創新。存儲對這一規則也非例外。