精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

當前位置:大數(shù)據(jù)方案 → 正文

大數(shù)據(jù)時代的奠基者:谷歌大數(shù)據(jù)架構揭秘

責任編輯:editor004 |來源:企業(yè)網D1Net  2013-10-21 17:14:56 本文摘自:it商業(yè)新聞網

Google是大數(shù)據(jù)時代的奠基者,其大數(shù)據(jù)技術架構一直是互聯(lián)網公司爭相學習和研究的重點,也是行業(yè)大數(shù)據(jù)技術架構的標桿和示范。

1、谷歌的數(shù)據(jù)中心

谷歌已經建立了世界上最快、最強大、最高質量的數(shù)據(jù)中心,它的8個主要數(shù)據(jù)中心都遠離其位于加州山景城的總部,分別位于美國南卡羅來納州的伯克利郡,愛荷華州的康瑟爾布拉夫斯,喬治亞州的道格拉斯郡,俄克拉荷馬州的梅斯郡,北卡羅來納州的勒努瓦,俄勒岡州的達爾斯;另外2個在美國境外,分別是芬蘭的哈米納和比利時的圣吉斯蘭。此外,谷歌公司還在中國香港和中國臺灣,以及新加坡和智利建立了數(shù)據(jù)中心。

谷歌數(shù)據(jù)中心

2、谷歌新一代搜索引擎平臺和大數(shù)據(jù)分析核心技術

Google是GFS MapReduce BigTable的締造者,但Google 新一代搜索引擎平臺正逐步用更強計算能力的系統(tǒng)來替換原有系統(tǒng),新一代搜索引擎平臺有幾個核心技術系統(tǒng):

一是用基于Percolator的增量處理索引系統(tǒng)來取代MapReduce批處理索引系統(tǒng),這個索引系統(tǒng)被稱作Caffeine,它比MapReduce批處理索引系統(tǒng)搜索更快。

二是專為BigTable設計的分布式存儲Colossus,也被稱為GFS2(二代Google文件系統(tǒng)),它專為建立Caffeine搜索索引系統(tǒng)而用。

三是列存儲數(shù)據(jù)庫BigTable,但為了更好地支持大數(shù)據(jù)集的互動分析,Google推出了Dremel和PowerDrill。Dremel被設計用來管理非常大量的大數(shù)據(jù)集(指數(shù)據(jù)集的數(shù)量和每數(shù)據(jù)集的規(guī)模都大),而PowerDrill則設計用來分析少量的大數(shù)據(jù)集(指數(shù)據(jù)集的規(guī)模大,但數(shù)據(jù)集的數(shù)量不多)時提供更強大的分析性能。

四是為Google Instant提供服務的實時搜索引擎存儲和分析架構。

五是Pregel,這是谷歌更快捷的網絡和圖算法。

在谷歌新一代搜索引擎平臺上,每月40億小時的視頻,4.25億Gmail用戶,150,000,000 GB Web索引,卻能實現(xiàn)0.25秒搜索出結果。

3、谷歌基礎云服務

基于Colossus,谷歌為用戶提供計算、存儲和應用的云服務。計算服務包括計算的引擎(ComputeEngine)和應用APP的引擎(AppEngine);存儲服務包括云存儲(CloudStorge)、云SQL(CLoudSQL)、云數(shù)據(jù)存儲(Cloud DataStore)、永久磁盤等服務;云應用服務包括BigQuery、云終端(Cloud Endpoints)、緩沖、隊列等。

4、谷歌的大數(shù)據(jù)智能應用服務

Google提供的大數(shù)據(jù)分析智能應用包括客戶情緒分析、交易風險(欺詐分析)、產品推薦、消息路由、診斷、客戶流失預測、法律文案分類、電子郵件內容過濾、政治傾向預測、物種鑒定等多個方面。據(jù)稱,大數(shù)據(jù)已經給Google每天帶來2300萬美元的收入。例如,一些典型應用如下:

(1)基于Map Reduce,Google的傳統(tǒng)應用包括數(shù)據(jù)存儲、數(shù)據(jù)分析、日志分析、搜索質量以及其他數(shù)據(jù)分析應用。

(2)基于Dremel系統(tǒng), Google推出其強大的數(shù)據(jù)分析軟件和服務 — BigQuery,它也是Google自己使用的互聯(lián)網檢索服務的一部分。Google已經開始銷售在線數(shù)據(jù)分析服務,試圖與市場上類似亞馬遜網絡服務(Amazon Web Services)這樣的企業(yè)云計算服務競爭。這個服務,能幫助企業(yè)用戶在數(shù)秒內完成萬億字節(jié)的掃描。

(3)基于搜索統(tǒng)計算法,Google推出搜索引擎的輸寫糾錯、統(tǒng)計型機器翻譯等服務。

(4)Google的趨勢圖應用。通過用戶對于搜索詞的關注度,很快的理解社會上的熱點是什么。對廣告主來說,它的商業(yè)價值就是很快的知道現(xiàn)在用戶在關心什么,他們應該在什么地方投入一個廣告。據(jù)此,Google公司也開發(fā)了一些大數(shù)據(jù)產品,如“Brand Lift in Adwords”、“Active GRP”等,以幫助廣告客戶分析和評估其廣告活動的效率。

(5)Google Instant。輸入關鍵詞的過程,Google Instant 會邊打邊預測可能的搜索結果。

谷歌的大數(shù)據(jù)平臺架構仍在演進中,追去的目標是更大數(shù)據(jù)集、更快、更準確的分析和計算。這將進一步引領大數(shù)據(jù)技術發(fā)展的方向。

關鍵字:谷歌大數(shù)據(jù)Datastore互動分析

本文摘自:it商業(yè)新聞網

x 大數(shù)據(jù)時代的奠基者:谷歌大數(shù)據(jù)架構揭秘 掃一掃
分享本文到朋友圈
當前位置:大數(shù)據(jù)方案 → 正文

大數(shù)據(jù)時代的奠基者:谷歌大數(shù)據(jù)架構揭秘

責任編輯:editor004 |來源:企業(yè)網D1Net  2013-10-21 17:14:56 本文摘自:it商業(yè)新聞網

Google是大數(shù)據(jù)時代的奠基者,其大數(shù)據(jù)技術架構一直是互聯(lián)網公司爭相學習和研究的重點,也是行業(yè)大數(shù)據(jù)技術架構的標桿和示范。

1、谷歌的數(shù)據(jù)中心

谷歌已經建立了世界上最快、最強大、最高質量的數(shù)據(jù)中心,它的8個主要數(shù)據(jù)中心都遠離其位于加州山景城的總部,分別位于美國南卡羅來納州的伯克利郡,愛荷華州的康瑟爾布拉夫斯,喬治亞州的道格拉斯郡,俄克拉荷馬州的梅斯郡,北卡羅來納州的勒努瓦,俄勒岡州的達爾斯;另外2個在美國境外,分別是芬蘭的哈米納和比利時的圣吉斯蘭。此外,谷歌公司還在中國香港和中國臺灣,以及新加坡和智利建立了數(shù)據(jù)中心。

谷歌數(shù)據(jù)中心

2、谷歌新一代搜索引擎平臺和大數(shù)據(jù)分析核心技術

Google是GFS MapReduce BigTable的締造者,但Google 新一代搜索引擎平臺正逐步用更強計算能力的系統(tǒng)來替換原有系統(tǒng),新一代搜索引擎平臺有幾個核心技術系統(tǒng):

一是用基于Percolator的增量處理索引系統(tǒng)來取代MapReduce批處理索引系統(tǒng),這個索引系統(tǒng)被稱作Caffeine,它比MapReduce批處理索引系統(tǒng)搜索更快。

二是專為BigTable設計的分布式存儲Colossus,也被稱為GFS2(二代Google文件系統(tǒng)),它專為建立Caffeine搜索索引系統(tǒng)而用。

三是列存儲數(shù)據(jù)庫BigTable,但為了更好地支持大數(shù)據(jù)集的互動分析,Google推出了Dremel和PowerDrill。Dremel被設計用來管理非常大量的大數(shù)據(jù)集(指數(shù)據(jù)集的數(shù)量和每數(shù)據(jù)集的規(guī)模都大),而PowerDrill則設計用來分析少量的大數(shù)據(jù)集(指數(shù)據(jù)集的規(guī)模大,但數(shù)據(jù)集的數(shù)量不多)時提供更強大的分析性能。

四是為Google Instant提供服務的實時搜索引擎存儲和分析架構。

五是Pregel,這是谷歌更快捷的網絡和圖算法。

在谷歌新一代搜索引擎平臺上,每月40億小時的視頻,4.25億Gmail用戶,150,000,000 GB Web索引,卻能實現(xiàn)0.25秒搜索出結果。

3、谷歌基礎云服務

基于Colossus,谷歌為用戶提供計算、存儲和應用的云服務。計算服務包括計算的引擎(ComputeEngine)和應用APP的引擎(AppEngine);存儲服務包括云存儲(CloudStorge)、云SQL(CLoudSQL)、云數(shù)據(jù)存儲(Cloud DataStore)、永久磁盤等服務;云應用服務包括BigQuery、云終端(Cloud Endpoints)、緩沖、隊列等。

4、谷歌的大數(shù)據(jù)智能應用服務

Google提供的大數(shù)據(jù)分析智能應用包括客戶情緒分析、交易風險(欺詐分析)、產品推薦、消息路由、診斷、客戶流失預測、法律文案分類、電子郵件內容過濾、政治傾向預測、物種鑒定等多個方面。據(jù)稱,大數(shù)據(jù)已經給Google每天帶來2300萬美元的收入。例如,一些典型應用如下:

(1)基于Map Reduce,Google的傳統(tǒng)應用包括數(shù)據(jù)存儲、數(shù)據(jù)分析、日志分析、搜索質量以及其他數(shù)據(jù)分析應用。

(2)基于Dremel系統(tǒng), Google推出其強大的數(shù)據(jù)分析軟件和服務 — BigQuery,它也是Google自己使用的互聯(lián)網檢索服務的一部分。Google已經開始銷售在線數(shù)據(jù)分析服務,試圖與市場上類似亞馬遜網絡服務(Amazon Web Services)這樣的企業(yè)云計算服務競爭。這個服務,能幫助企業(yè)用戶在數(shù)秒內完成萬億字節(jié)的掃描。

(3)基于搜索統(tǒng)計算法,Google推出搜索引擎的輸寫糾錯、統(tǒng)計型機器翻譯等服務。

(4)Google的趨勢圖應用。通過用戶對于搜索詞的關注度,很快的理解社會上的熱點是什么。對廣告主來說,它的商業(yè)價值就是很快的知道現(xiàn)在用戶在關心什么,他們應該在什么地方投入一個廣告。據(jù)此,Google公司也開發(fā)了一些大數(shù)據(jù)產品,如“Brand Lift in Adwords”、“Active GRP”等,以幫助廣告客戶分析和評估其廣告活動的效率。

(5)Google Instant。輸入關鍵詞的過程,Google Instant 會邊打邊預測可能的搜索結果。

谷歌的大數(shù)據(jù)平臺架構仍在演進中,追去的目標是更大數(shù)據(jù)集、更快、更準確的分析和計算。這將進一步引領大數(shù)據(jù)技術發(fā)展的方向。

關鍵字:谷歌大數(shù)據(jù)Datastore互動分析

本文摘自:it商業(yè)新聞網

電子周刊
回到頂部

關于我們聯(lián)系我們版權聲明隱私條款廣告服務友情鏈接投稿中心招賢納士

企業(yè)網版權所有 ©2010-2024 京ICP備09108050號-6 京公網安備 11010502049343號

^
  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 梁平县| 三台县| 屏南县| 西乌珠穆沁旗| 张北县| 固镇县| 新竹县| 通道| 雷波县| 武宁县| 东至县| 寻甸| 荣昌县| 右玉县| 利津县| 吐鲁番市| 芦山县| 崇文区| 海盐县| 监利县| 巴楚县| 容城县| 崇明县| 秦皇岛市| 阿荣旗| 肃宁县| 德钦县| 江油市| 铅山县| 贵溪市| 巴彦淖尔市| 内乡县| 安国市| 阿勒泰市| 石屏县| 扎兰屯市| 上饶市| 兴安盟| 海林市| 固镇县| 徐汇区|