云計(jì)算、移動化、社交網(wǎng)絡(luò)、大數(shù)據(jù)被公認(rèn)為四大趨勢,大數(shù)據(jù)則以挖掘數(shù)據(jù)中所蘊(yùn)含的價(jià)值被大量用戶所關(guān)注,隨著大數(shù)據(jù)生態(tài)圈的形成和穩(wěn)步發(fā)展,Hadoop已經(jīng)成為大數(shù)據(jù)重要的平臺。近日,在2014 SAS中國區(qū)用戶大會上,SAS公司高層表示SAS希望利用多年在數(shù)據(jù)分析方面的經(jīng)驗(yàn)讓Hadoop集群平臺更加強(qiáng)大。
Hadoop 2.0版本在去年推出之后,最重要的變化就是將被人所詬病的Mapreduce框架升級為Apache YARN框架,大大擴(kuò)展了Hadoop中應(yīng)用軟件種類和應(yīng)用程度。SAS公司作為商業(yè)分析軟件領(lǐng)域的重要廠商,在2014年年初也推出了適用于Hadoop架構(gòu)的SAS內(nèi)存分析技術(shù)(SAS IN-Memory Statistics For Hadoop),SAS公司表示該技術(shù)可以讓多用戶同時(shí)交互地管理、挖掘和分析數(shù)據(jù),建立和對比模型,以及對Hadoop框架內(nèi)的海量數(shù)據(jù)進(jìn)行評分。
SAS公司大數(shù)據(jù)研究與發(fā)展全球副總裁Paul Kent表示:“多虧Hadoop這個(gè)開源系統(tǒng)和開源框架使得過去只有超級計(jì)算機(jī)才能運(yùn)行的運(yùn)算可以由多臺計(jì)算機(jī)同時(shí)處理。Hadoop現(xiàn)在正在慢慢成長為一個(gè)分析平臺,能夠讓其他種類的軟件也融入和整合進(jìn)來,SAS公司現(xiàn)在也可以參與到這個(gè)平臺之中,把它變得更加容易使用。SAS公司擁有40年的專業(yè)數(shù)據(jù)分析經(jīng)驗(yàn),能夠讓整個(gè)Hadoop框架和集群變得更好。”
目前,在Hadoop平臺上的基于內(nèi)存計(jì)算框架和分析模式有多重,有現(xiàn)在非?;鸨腟park/Shark、GreenPlum GenFire等等,Hadoop走向平臺化的趨勢就使得平臺上層的分析框架和模式更加多元化,也讓用戶的選擇更加靈活。“對于SAS而言,最大的優(yōu)勢就是集群環(huán)境下的運(yùn)算和算法,這是SAS的核心競爭力所在,SAS是第一家把大量且復(fù)雜的精密運(yùn)算應(yīng)用到Hadoop集群的公司,用戶現(xiàn)在通過軟件就可以非常輕易的做過去只有數(shù)據(jù)科學(xué)家才能做的事情,比如建立很好的模型或?qū)ξ磥磉M(jìn)行預(yù)測等。”Paul Kent表示。
據(jù)悉,SAS In-Memory Statistics For Hadoop內(nèi)存計(jì)算技術(shù)支持的統(tǒng)計(jì)和機(jī)器學(xué)習(xí)劍魔技術(shù)包括:聚類、遞歸、廣義線性模型、方差分析、決策樹、隨機(jī)決策森林、文本分析和推薦系統(tǒng)。SAS可視化分析(SAS Visual Analytics)采用的內(nèi)存分析技術(shù)也被應(yīng)用到SAS In-Memory Statistics For Hadoop中。Paul Kent表示:“技術(shù)是非常重要的引擎,能夠處理更大集群的處理,更快地得出結(jié)果。同時(shí),SAS也非常關(guān)注用戶界面友好,讓用戶使用方面。”
根據(jù)消息顯示,SAS公司目前已經(jīng)與Hadoop生態(tài)系統(tǒng)中的Cloudera和Hortonworks進(jìn)行戰(zhàn)略合作。
SAS公司大中華區(qū)總裁吳輔世也表示:“目前國內(nèi)很多企業(yè)都做了Hadoop相關(guān)研究,在2,3年前很多企業(yè)仍然比較保守,現(xiàn)在包括電信行業(yè)、零售行業(yè)甚至一些金融行業(yè)用戶都對Hadoop技術(shù)進(jìn)行了很多試點(diǎn)、測試和研究。過去傳統(tǒng)的主機(jī)和大型數(shù)據(jù)倉庫平臺做的工作現(xiàn)在逐步遷移到Hadoop平臺之中。”
“現(xiàn)在對SAS公司而言是一個(gè)新的契機(jī),過去SAS公司和Teradata、甲骨文等公司有很多合作,不管是直接訪問數(shù)據(jù)倉庫還是在庫內(nèi)做高速分析,都有各種軟件功能滿足用戶需求?,F(xiàn)在Hadoop平臺的成熟,會讓用戶有更快速的部署、更精簡的投資,并且能從中獲得效益。”吳輔世補(bǔ)充道。
最后,吳輔世表示SAS公司對大數(shù)據(jù)趨勢發(fā)展以及中國大數(shù)據(jù)市場的潛力非常有信心,未來會與國內(nèi)合作伙伴繼續(xù)把服務(wù)做的更好,讓國內(nèi)大數(shù)據(jù)市場發(fā)展更大。