微軟正在開發其之前僅在內部使用的Cosmos大數據計算、分析以及存儲服務,對外提供基于Azure的付費使用版本。
我在去年八月推測,微軟打算將Cosmos變成下一個大型Azure服務產品之一,事情的確如此。
微軟正在為該產品的關鍵組件招聘測試人員,這些組件包括一個代號為“Kona”的分析引擎塊和一個代號為“Cabo”的存儲引擎。還有一種新的SQL友好語言,被稱為SQL-IP,據來源消息稱,它也將成為大數據分析包的一部分。
目前,Cosmos僅面向微軟內部,它是微軟大規模并行處理數據的存儲和計算服務,微軟用它來處理來自Azure、Bing、AdCenter、MSN、Skype以及Windows Live的大量數據。Cosmos是使用微軟Dryad分布式處理技術構建的。根據最近的微軟招聘啟事,微軟內部有5000名開發者和成千上萬的用戶在使用Cosmos。
微軟內部已經將Cosmos用于處理遙測數據、對大型資料集(如由Bing和Office 365創建的)進行分析記錄、管理和執行后端進程的多種數據。這些多用途的數據很多都是共享的。有關這些數據的查詢能夠在多達40000臺并行的機器上進行。
微軟計劃推出面向外部的Cosmos版本,用其作為微軟Hadoop-on-Azure服務HDInsight的一個補充,用戶可以在同一個數據集中選擇使用HDInsight或SQL-IP。
SQL-IP是SQL、C#和.NET的組合,可擴展也可處理并行計算。我的消息人士透露,這聽起來感覺未來微軟還會推出一個用于支持SQL-IP的Visual Studio插件。
SQL-IP是微軟SCOPE語言的升級版本,在本質上對SQL更友好。Cosmos的并行查詢功能設計的目的就是為了面向那些在單機上執行分布/并行查詢的用戶。
Cosmos進化過程中還有一個十分有意思的插曲:微軟研究員Ed Nightingale指出,從2012年開始,他花時間重新構建了Cosmos服務“用來支持微軟研究院扁平數據存儲項目提供的經驗和原則。”扁平數據中心存儲(FDS)是一個“高性能、高容錯、大規模、不限制地域的BLOB存儲。”
微軟正在計劃按照使用對用戶收費,包括計算、存儲和即將到來的Cosmos服務。消息人士說,用戶將能夠對數據進行查詢和處理,但只需要為后者付費。
我不知道微軟計劃什么時候推出面向公眾發行的Cosmos的預覽版本,或者說該公司計劃何時其全面上市。我已經問過微軟的相關官員他們是否愿意分享更多未來的細節。目前為止還沒收到回復。
在一份招聘啟事上(它現在已經不在微軟的招聘網站上了),微軟公司的相關人士把面向公眾發行的Cosmos稱為“有數十億美元潛力”的產品。