【CSDN現場報道】2014年12月12-14日，由中國計算機學會（CCF）主辦，CCF大數據專家委員會承辦，中科院計算所與CSDN共同協辦，以推進大數據科研、應用與產業發展為主旨的2014中國大數據技術大會（Big Data Technology Conference 2014，BDTC 2014）暨第二屆CCF大數據學術會議在北京新云南皇冠假日酒店盛大開幕。
2014中國大數據技術大會第二日上午的大數據基礎設施論壇上，Mellannox亞太區市場開發總監劉通、武漢綠色網絡信息服務有限責任公司副總經理雷葆華、浪潮云產品部兼渠道推進部總經理王峰、百度基礎架構部高級架構師 柴華和博科中國區技術總監 谷增云五位專家主要專注于網絡層面的相關問題展開的演講。
圖：Mellannox亞太區市場開發總監劉通
Mellannox亞太區市場開發總監劉通帶來了主題為“高速網絡InfiniBand加速大數據應用”的演講。他表示基礎設施和上層的應用有著非常緊密的聯系，軟硬件結合才更有意義。在他看來，InfiniBand是一個完全自主且非常智能的二層網絡，從誕生的那天其就是SDN的網絡。
“高達56Gb/s的帶寬（100G EDR InfiniBand也已問世）以及低于700納秒的延遲為高速數據傳輸提供了保證。InfiniBand內置支持RDMA（遠端內存直接訪問）網絡傳輸技術，提供內存零拷貝、內核旁路、協議卸載的優勢，從而大幅下載網絡通信對CPU資源的占用，這些優勢是傳統TCP/IP通信協議所不具備的。”他說道。
圖：武漢綠色網絡信息服務有限責任公司副總經理雷葆華
武漢綠色網絡信息服務有限責任公司副總經理雷葆華發表主題為“大數據在網絡服務中的應用及網絡演進”的演講。 他就網絡運營中的大數據探索和大數據時代的智能化網絡基礎設施演進兩個內容進行了闡述。他介紹了基于網絡的大數據體系架構的三個層次：第一個是大數據海量數據采集及預處理；第二個是DMP數據管理平臺匯聚了各省的數據資源，并進行安全去隱私化處理；第三個是合作伙伴可以利用運營商大數據平臺的資源，進行數據的深入分析挖掘。
他認為IDC是互聯網產業的基礎戰略資源，作為信息中樞，直接支撐整個互聯網產業的發展。而大數據時代，網絡演進發生了三個變化：1.不定向突發流量的挑戰；2.云數據中心互聯；3.云開數據中心內部組網支持云服務。歸納來說就是業務變化驅動網絡架構的變化：1. 業務流量由縱向為主演進為橫向為主；2. 大型異構化，更多的節點數跨數據中心；虛擬化：3. 同一物理服務器的虛擬機之間的通信、跨物理服務器的虛擬機通信時的虛擬機標識、虛擬機遷移。
圖：浪潮云產品部兼渠道推進部總經理王峰
浪潮云產品部兼渠道推進部總經理王峰發表了主題為“開放融合的云數據中心”的演講。過去的數據中心是為某一個應用做的，我們的數據中心的效率并不是非常高，然后提出了軟件定義的計算和存儲，他表示希望未來在信息領域做的所有東西都是可以軟件定義的，所有的資源都可以被抽象化、池化 和自動化。
傳統的數據中心架構，計算、存儲和網絡資源是彼此獨立，不同應用更是要求不同的設備和網絡，利用應用軟件定義的數據中心能夠簡化IT應用基礎架構，讓其不再是整個云計算、大數據中最重的那一部分。最后，他總結了兩點：1. SDDC將完全改變數據中心的設備形態、服務形式，甚至IT應用的開展方式；2. 在完全融合、池化、軟件定義的數據中心到來之前，我們還有幾個必經階段。
圖：百度基礎架構部高級架構師 柴華
百度基礎架構部高級架構師 柴華介紹了百度分布式計算平臺。他先是介紹了百度MapReduce的發展歷程：2004年MapReduce論文發表，2007年上線了基于Haddop的百度MR，2011年百度MR單集群規模達到5000臺，2013年百度MR單集群達到13000臺，2014年 百度DCE發布，DAG引擎上線。
演講中，柴華重點介紹了百度分布式計算的“七劍客”：1. 大規模離線計算平臺DCE（MapReduce/DAG模型），2. 大規模機器學習平臺MPI(BSP模型)，3. 新一代大規模機器學習框架ELF(Parameter server架構)，4. 毫秒級實時計算系統Dstream，5. 小批量流式計算系統Task Manger，6. 基于內存的開源分布式計算框架Spark，7. 分布式Trace系統Rig。
博科中國區技術總監 谷增云
博科中國區技術總監谷增云，帶來了“用于大數據可視化的SDN技術”技術分享，主要講述SDN技術，在大規模、超高性能的大數據采集方面的應用。其中Vyatta平臺的架構包含三個核心層：NFV連接服務、SDN結構服務和功能編排。這個開放式架構的每一層都是模塊化的，讓客戶能夠選擇適合其特定數據中心要求的產品和/或解決方案。這個平臺開放和模塊的特性實現了互操作性，為客戶帶來更好的選擇。層間通信采用基于標準的透明協議和方法，包括REST APIs和NETCONF/YANG模式，確保配置的互操作性。最后針對SDN/Openflow技術如何在數Tbps帶寬容量的數據中心、骨干網隨時自動化的采集上應用做了簡要的分析。
京公網安備 11010502049343號