運(yùn)行SQL Server的微軟客戶將通過(guò)Hadoop的引入獲得真正的大數(shù)據(jù)處理能力。
微軟已經(jīng)發(fā)布了早期代碼,讓客戶可以將這個(gè)Java架構(gòu)接入到SQL Server 2008 R2、SQL Server Parallel Data Warehouse以及下一代微軟數(shù)據(jù)庫(kù)。
Doug Cutting受到Google MapReduce的啟發(fā)而發(fā)明了開(kāi)源Hadoop,現(xiàn)在它已經(jīng)在某種程度上成為了在集群服務(wù)器上處理大量數(shù)據(jù)的行業(yè)標(biāo)準(zhǔn),包括Amazon、Facebook和Twitter等網(wǎng)絡(luò)巨頭也都采用了Hadoop。
業(yè)內(nèi)人士認(rèn)為,Hadoop可以用來(lái)了解數(shù)以百萬(wàn)計(jì)用戶的喜好和更新?tīng)顟B(tài)等細(xì)枝末節(jié)以改變服務(wù)響應(yīng)。Hadoop的目標(biāo)是,更有力地滲透到主流IT中。
微軟研究部門從2006年起就一直致力于某種非常類似于Hadoop的項(xiàng)目,被稱為“Dryad”。今年年初,該計(jì)劃通過(guò)與SQL Server和Windows Azure云的集成實(shí)現(xiàn)了Dryad的產(chǎn)品化。雖然現(xiàn)在微軟還沒(méi)有更新,但看上去Dryad似乎將成為在SQL Server平臺(tái)上影響大數(shù)據(jù)愛(ài)好者的有力競(jìng)爭(zhēng)者。
微軟目前已經(jīng)開(kāi)始提供Hadoop Connector for SQL Server Parallel Data Warehouse和Hadoop Connector for SQL Server社區(qū)技術(shù)預(yù)覽版本的連接器。
該連接器是雙向的,你可以在Hadoop和微軟數(shù)據(jù)庫(kù)服務(wù)器之間向前或者向后遷移數(shù)據(jù)。
微軟表示,這個(gè)連接器可以讓客戶在Hadoop中分析非結(jié)構(gòu)化數(shù)據(jù),然后接回到SQL Server環(huán)境中進(jìn)行分析。
這兩個(gè)連接器采用SQL to Hadoop (SQOOP)在Hadoop File System (HDFS)和微軟關(guān)系數(shù)據(jù)庫(kù)之間有效地傳輸數(shù)據(jù)。Parallel Data Warehouse采用PDW Bulk Load/Extract工具以進(jìn)行數(shù)據(jù)的快速導(dǎo)入或者導(dǎo)出。
SQL Server PDW客戶可以從微軟那里獲得這個(gè)Hadoop連接器,普通的SQL Server 2008 R2客戶則可以獲得Hadoop Connector for SQL Server代碼。