大數(shù)據(jù)時代的到來以及大數(shù)據(jù)的大價值已經(jīng)被廣泛接受，現(xiàn)在企業(yè)面臨的問題是如何輕松地實現(xiàn)在“大數(shù)據(jù)”里淘金。
面對大數(shù)據(jù)的處理辦法，很多IT公司給企業(yè)的解決方案都過于復(fù)雜，特別是對于一些缺少IT技術(shù)人才的企業(yè)來說，更是難上加難。當(dāng)大數(shù)據(jù)概念被提出后，針對該市場應(yīng)運而生的解決方案層出不窮，軟硬件一體化設(shè)備作為大數(shù)據(jù)解決方案中的一員，扮演著重要的角色。眾多擁有數(shù)據(jù)庫系統(tǒng)軟件的IT廠商都推出了基于自己數(shù)據(jù)庫的大數(shù)據(jù)一體機，這種解決方案，大大降低了企業(yè)二次開發(fā)的要求，只需簡單的搭建和參數(shù)配置，即可讓很多企業(yè)用戶的大數(shù)據(jù)夢想變成現(xiàn)實。
微軟并行數(shù)據(jù)倉庫一體機，將多種先進(jìn)的數(shù)據(jù)存儲與處理技術(shù)結(jié)合為一體，是微軟大數(shù)據(jù)戰(zhàn)略的重要組成部分。今天，我們重點介紹一下微軟基于SQL Server并行數(shù)據(jù)倉庫(PDW)一體機。
微軟PDW一體機的優(yōu)勢在哪兒
12月17日，微軟并行數(shù)據(jù)倉庫全球卓越中心總監(jiān)Russ Cavan到訪中國，在接受媒體采訪時，他談到微軟大數(shù)據(jù)的戰(zhàn)略規(guī)劃：讓所有用戶都能夠從幾乎任何數(shù)據(jù)中獲得可轉(zhuǎn)換為業(yè)務(wù)執(zhí)行的洞察力，包括之前隱藏在非結(jié)構(gòu)化數(shù)據(jù)中的洞察力。
圖 微軟并行數(shù)據(jù)倉庫全球卓越中心總監(jiān)Russ Cavan
并且，他指出微軟的大數(shù)據(jù)解決方案從三個層面解決企業(yè)面臨的大數(shù)據(jù)難題。第一是數(shù)據(jù)管理層，可對所有類型的數(shù)據(jù)進(jìn)行搜集和管理，包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化和流數(shù)據(jù)等;第二個是擴展層，通過數(shù)據(jù)發(fā)現(xiàn)以豐富數(shù)據(jù)集，與來自于全球的多種類型數(shù)據(jù)互連，以及通過高級數(shù)據(jù)分析將數(shù)據(jù)變成信息以及知識。第三是洞察力層，通過用戶所熟悉的類似Excel、PowerPivot、PowerView這樣的工具，為用戶提供全面、深入的洞察力，為從領(lǐng)導(dǎo)層到每個員工提供直觀易用的決策支持，即實現(xiàn)數(shù)據(jù)以及信息的消費化。
微軟基于SQL Server的并行數(shù)據(jù)倉庫一體機是微軟大數(shù)據(jù)戰(zhàn)略的重要基礎(chǔ)，是現(xiàn)代的數(shù)據(jù)管理平臺，可實現(xiàn)對任何大小數(shù)據(jù)、隨時隨地的處理，簡單且具有彈性。微軟并行數(shù)據(jù)倉庫一體機是針對企業(yè)數(shù)據(jù)倉庫、高度可擴展的設(shè)備，使用 Microsoft SQL Server 中的"并行數(shù)據(jù)倉庫"及其"大規(guī)模并行處理"(MPP)體系結(jié)構(gòu)，獲得可伸縮的性能和靈活性，并提供功能最為全面的數(shù)據(jù)倉庫解決方案。
前端使用大家所熟悉的微軟Office Excel、IE、SharePoint等工具，同時可以使用多種設(shè)備，包括筆記本，移動終端等，從任何數(shù)據(jù)中隨時獲得所需要的信息，以提供決策支持。
隨時與全球的數(shù)據(jù)互連，從而發(fā)現(xiàn)隱藏的價值，將內(nèi)部與公用的數(shù)據(jù)和服務(wù)相結(jié)合。通過支持任何數(shù)據(jù)的現(xiàn)代數(shù)據(jù)管理平臺，處理任意大小和種類的數(shù)據(jù)，不僅具有Windows的易用性，同時兼具云的彈性和可擴展性。
為了幫助企業(yè)快速部署大數(shù)據(jù)解決方案，兼容當(dāng)前最為流行的非結(jié)構(gòu)化數(shù)據(jù)體系Hadoop，微軟在Microsoft Windows Azure平臺上提供了基于云的HDInsight服務(wù)，同時在Windows Server上提供了基于私有云的HDInsight Server。
微軟HDInsight解決方案100%與Apache的Hadoop標(biāo)準(zhǔn)兼容，可幫助企業(yè)從任何結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)中獲得業(yè)務(wù)洞察力。Windows Azure進(jìn)一步簡化了Hadoop的部署難度，用戶可以在10分鐘內(nèi)在云端部署Hadoop集群，并能通過Microsoft System Center實現(xiàn)輕松管理。
新一代并行數(shù)據(jù)倉庫一體機明年初推出
其實，早在SQL Server 2008 R2版本發(fā)布之初，微軟就已經(jīng)推出了基于SQL Server 2008 R2的微軟并行數(shù)據(jù)倉庫一體機，目前已經(jīng)發(fā)布了四個更新版本。12月13日的采訪中，Russ Cavan透露，基于SQL Server 2012的新一代并行數(shù)據(jù)倉庫一體機將于2013年初推出。SQL Server 2012并行數(shù)據(jù)倉庫一體機面向大數(shù)據(jù)服務(wù)設(shè)計，在數(shù)據(jù)處理方面實現(xiàn)了突破.
為大數(shù)據(jù)而建：SQL Server 2012并行數(shù)據(jù)倉庫提供了全新的PolyBase它是數(shù)據(jù)處理突破性的技術(shù)，實現(xiàn)了傳統(tǒng)關(guān)系型數(shù)據(jù)庫表與非關(guān)系型Hadoop數(shù)據(jù)表的統(tǒng)一查詢。
新一代性能與規(guī)模：采用 xVelocity 列存儲，查詢速度大幅提升10至50倍、并可以滿足實時數(shù)據(jù)倉庫需求;采用高密度 Direct Attached Storage，存儲容量提升7倍之多;采用更加高效的架構(gòu)設(shè)計，在大幅提升性能的同時，總體成本大幅降低。
最優(yōu)化的軟硬集成：通過Windows Server 2012虛擬化技術(shù)一系列創(chuàng)新，SQL Server 2012并行數(shù)據(jù)倉庫一體機實現(xiàn)業(yè)界每TB更低成本。
由于軟硬件一體，并行數(shù)據(jù)倉庫一體機只需要很少的調(diào)整和優(yōu)化，可有助于降低 IT 成本。該設(shè)備開箱即用，可以以非常快的速度安裝并開始加載數(shù)據(jù)，在服務(wù)器調(diào)整和優(yōu)化上也僅需很少時間，從而顯著縮短部署時間、減少工作量和降低成本。此外，還能夠非常快地運行大規(guī)模查詢，企業(yè)可以運行更多報表、完成更復(fù)雜的分析、處理更大的數(shù)據(jù)集以及分析更詳細(xì)的數(shù)據(jù)。
國內(nèi)PDW一體機的首個案例：國家審計署
就在Russ Cavan在介紹微軟大數(shù)據(jù)戰(zhàn)略及并行數(shù)據(jù)倉庫一體機2012產(chǎn)品路線圖的同時，也公開宣布微軟并行數(shù)據(jù)倉庫一體機的首個案例：國家審計總署。
圖 微軟高級數(shù)據(jù)倉庫架構(gòu)師喬怡
微軟高級數(shù)據(jù)倉庫架構(gòu)師喬怡介紹，現(xiàn)在的審計業(yè)務(wù)，面臨的數(shù)據(jù)總量已經(jīng)上升為TB級、甚至PB級，并且數(shù)據(jù)查詢分析的復(fù)雜性也在不斷提高。同時，審計需求本身為具有隨機性和突發(fā)性，審計人員需要根據(jù)判斷進(jìn)行海量數(shù)據(jù)的查詢、匯總和關(guān)聯(lián)分析，這就需要針對大數(shù)據(jù)的統(tǒng)一高度和并行訪問，并需要多種計算模式和分析方法，同時滿足宏觀或特定審計目標(biāo)。與此同時，更加無法忽視"時效性"的要求，審計署的處理效率受到更為嚴(yán)苛的挑戰(zhàn)。
如何以更為容易部署的方式建議分布式存儲和計算集群，在統(tǒng)一的架構(gòu)下實現(xiàn)對各種類型和各種規(guī)模數(shù)據(jù)的管理和并行處理，并能夠根據(jù)需求實現(xiàn)縮放和篇？如何支持TB/PB級數(shù)據(jù)的高效加載，滿足多源異構(gòu)數(shù)據(jù)的即席查詢、聯(lián)合查詢和復(fù)雜關(guān)系處理，對大規(guī)模審計數(shù)據(jù)進(jìn)行快速、深入的分析和挖掘？國家審計總署選擇了基于微軟SQL Server并行數(shù)據(jù)倉庫一體機的大數(shù)據(jù)云平臺方案，用于解決海量數(shù)據(jù)大規(guī)模并行分析處理、分布式存儲及管理問題。
微軟并行數(shù)據(jù)倉庫一體機在保持與審計署現(xiàn)在數(shù)據(jù)平臺兼容的前提下，提供對數(shù)據(jù)進(jìn)行全方位管理、高性能處理的能力。同時基于上述審計業(yè)務(wù)的隨機性、突發(fā)性、分析多樣性等特征，微軟并行數(shù)據(jù)倉庫一體機平臺在數(shù)據(jù)存儲和處理架構(gòu)上兼具了資源池共享、按需可擴展、高可用保障、統(tǒng)一運維監(jiān)控等典型云計算平臺特性。
Russ Cavan表示，微軟并行數(shù)據(jù)倉庫與微軟的多種商業(yè)智能工具實現(xiàn)緊密集成，例如Excel， Powerpivot， SQL Server Integration Services、Analysis Services 以及 Reporting Services等。微軟的大規(guī)模數(shù)據(jù)倉庫解決方案，不僅僅為客戶提供后臺大規(guī)模數(shù)據(jù)存儲、管理與處理，同時也為客戶的決策支持提供靈活、易用、可視化而且豐富的前端展現(xiàn)，是真正實現(xiàn)數(shù)據(jù)消費化的大數(shù)據(jù)解決方案。目前，包括Gartner在內(nèi)的全球分析師機構(gòu)，已經(jīng)把微軟列為全球數(shù)據(jù)倉庫的主要領(lǐng)導(dǎo)者之一。
針對2013年及今后中國經(jīng)濟發(fā)展，Russ Cavan表示，當(dāng)前IT已經(jīng)成為政府和企業(yè)不可缺失的組成部分，是政府與企業(yè)提高工作效率，實現(xiàn)服務(wù)轉(zhuǎn)型的重要柱，IT已經(jīng)從最初的服務(wù)部門，變成了戰(zhàn)略部門，微軟致力于與中國政府和企業(yè)一起，通過大數(shù)據(jù)、云計算等新興的技術(shù)，實現(xiàn)中國由大到強的戰(zhàn)略轉(zhuǎn)型。
京公網(wǎng)安備 11010502049343號