英特爾數據中心軟件部首席架構師陳奇發表主題為“智能交通系統大數據案例分享”的演講
2013年10月24日,由企業網D1Net舉辦的“智慧城市論壇”在上海紫金山大酒店隆重舉行。這是EAS政企應用系列高峰論壇之一,面向企業級落地應用,涵蓋目前政企市場關注度最高的熱點領域,旨在為政企用戶提供一個高端精準的學習和交流機會,也為廠商提供一個精確把握需求客戶的機會。
作為強調實戰,重視落地的政企行業的IT盛會,企業網D1Net舉辦的各種活動長期薈萃了包括中國電信、中國移動、中國聯通、IBM、HP、Dell 、Cisco、微軟、華為、Oracle、中興等在內的許多運營商和主流廠商。
今日,知名廠商英特爾亮相“智慧城市論壇”,英特爾數據中心軟件部首席架構師陳奇發表主題為“智能交通系統大數據案例分享”的演講,以下是現場速遞。(聲明:本稿件來源為現場速記,可能有筆誤和別字,僅供參考)
主持人:很感謝來主任的分享。我們下面請英特爾數據中心軟件部首席架構師陳奇先生為我們分享智能交通系統大數據案例分享方面的心得。
陳奇:前面諸位講了很多智能城市,不管你是智慧城市,智慧地球,或者智慧宇宙,是智慧交通,你實現它這個手段怎么實現。那么我從英特爾角度講一下。我們講的例子比較小就是智能交通。
因為智慧城市面比較廣,譬如說平安城市,或者智慧物流,智慧電網等等,所有的這些,就是說你用什么手段實現你的智慧,智慧的產品必須來自于原始的數據。我們看一下智慧交通的建設,中國的發展是很快的,我以前在美國到處都是高速公路,但是現在回到中國看到是高速公路已經快趕上美國了,所以公路的發展,城市交通建設的發展都是有目共睹的。
這些基礎建設的發展也會帶來很多問題,那么這些問題怎么解決,怎么克服。包括你的道路建設會產生更多的數據,這些都是原始的數據,很多數據其實并沒有被真正的利用,那么怎么利用這些數據,是我們今天講的內容。
智慧交通,前一段時間上海下雨很多路面積水,那么能不能及時把積水情況,或者路面狀況傳達到每個人信息里面,每個人手機,這就是需要我們怎么解決的問題。包括實施路況的東西,交通路況的監控,各種歷史數據的查詢,這個怎么實現就是大數據的問題。大數據這幾年比較熱,所以它不光是單獨的問題,而是跟城市智慧交通結合在一起,也會在這些案例中得到很好應用的。
我們傳統數據存放方式一般數據庫,或者文件格式,文件格式主要是靠高端的機器,然后數據結構的復雜運行來實現。隨著數據量增加會產生很多瓶頸。這些瓶頸產生主要你有很多原始的數據,可能這種數據化存在數據庫里面,或者分散到不同的數據里面你怎么查詢,怎么分析的話,這會產生很大的負荷,對傳統的數據庫方式會產生很大的負荷。
傳統的數據中心一般我們跟國內各個城市,包括他們的智慧交通,智能交通,譬如公安系統打交道,他們基本把這種數據存放在各個省、各個市分中心,每個省希望有一個接口可以查詢到各個分中心的數據。但是因為數據庫的分散存放,數據量非常巨大,有時候查詢,譬如說省政府來了人到省公安廳查詢一個案子,查詢一個交通狀況,這樣因為很多原始數據,譬如說,六個月以后的數據不在數據庫里面,這樣一時半會查要靠人工進行,這個就帶來很多問題。
這樣我們從數據的存放,或者數據解決的手段看就是說數據量的增大你怎么解決這些問題。傳統方式就是數據庫增加數據庫的性能可能你是做不到,要數據庫廠商做。然后你增加機器的特性,對數據庫進行向上拓展,這樣成本會非常高。一般比較流行是像水平拓展跟低成本接起,就是說很便宜的實現你的運算,這就是我們英特爾的方式。因為大家知道英特爾是芯片生產廠商,英特爾86型的機器基本上都是這種PC上的信息。雖然現在技術的發展,英特爾芯片的速度等等可能都會慢慢接近二型機的速度。
這個就是智能交通的解決方案,智能數據提供端到端的解決方案,包括英特爾的服務器,網關,數據中心解決方案。對終端譬如說交通的解決方案,英特爾不光是傳統的芯片制造廠商,而且更進一步向上發展,看到現在大數據的局面,英特爾希望在大數據里面發揮它本身的作用,或者發揮他本身的優勢。
前面講了有兩種方式,一種你傳統數據庫的發展。所以說看到數據庫的瓶頸,隨著數據庫增大,你的性能瓶頸就會產生很大的負荷。特別是前幾年隨著互聯網增大,很多互聯網回顧到比較簡單的水平拓展,通過增加服務器的方式把整個服務器作為大的集群,作為大的文件系統進行管理存放,在上面進行簡單的并行,架構運算。
我們前面說英特爾是做芯片的常說,華東部本身在英特爾服務器上發展起來,所以英特爾在這個方面有它的自己的優勢。針對本身的芯片、存儲器進行對這種集群優化進行了自己獨特的優化。實現了英特爾企業級版本的改進。
我們從性能上看英特爾Hadoop集群,通過它對指令系統的感性,或者對內存系系統的優化他性能基本上可以翻十倍以上。這個也是我們包括銀行、電信、交通幾個領域測試的結果。
智能交通我們實現手段是什么?其實很簡單,就是一個Hadoop,前面講了從它的服務器的改進,從它的內存的優化上,那么就是英特爾在這個上面的優勢。這個上面就是看到有不同的軟件系統,像Lustre,譬如說內存的優化,以及是你集群的業務安全性能的優化等等,這些就是我們大數據產品的優勢。
以及對智能交通本身各個方面的改進,因為這是比較技術性的。H里面各個組成部分,我們對這些生態系統進行了改進,譬如說一個跨地域的大表,對于用戶來說看起來是一張表,有各個城市得分中心,建了不同的集群,那么你在省中心怎么查詢分中心的數據,那么我們用這個可以看到統一的數據。這里我不一一列出,具體的性能,功能的加強,可以看到英特爾帶這個方面作出了自己的努力,特別對不同的行業有自己的解決方案。
這是智能交通很簡單一個例子。因為我們在國內的智能交通中Hadoop用的非常廣,包括銀行,電信領域里面。智能交通一般是各個省、各個市,各個縣都有自己的數據系統,這些數據系統進行集中匯總到省的中心。前面講過了不同的中心有自己的集群,這個集群在省中心有統一的集群,你怎么查詢分布式集群,我們這里講的集群就是一個Hadoop的集群。我們可以從前面例子看它可以改進,有自己獨特的功能,不管你分布在什么地方,而且查詢是可以非常快,因為用的是開放的定型架構。
這個就是進入車輛管理貨物系統。譬如我們在浙江臺州那個時候實現了,它基本有500萬貨車量,這個數據量非常大,但是這個僅僅在一個點就有500萬貨車量,那么你怎么進行分析,查詢也會成為問題,更談不上復雜的運算。那么他們就利用了我們的系統,基本上可以做到這種查詢是分鐘以內的查詢。這個我們是展示一個圖形,車輛進行管理的分析。基本是跟一些合作伙伴合作在國內的智慧交通方面還是做的比較領先的。
這里可以看到為什么要智慧交通,譬如說違法車輛的追蹤這個效率就提高了,譬如有的車輛掛牌,或者這個車輛出了事故,那么你怎么樣快速的追蹤,怎么分析定位,那么就可以實時的跟蹤。所有這些都是用到我們前面講的基礎架構,因為在這個方面做了自己的努力,也是有典型的案例。
現在講得更多是因為你講到智慧城市,然后講到更多的大數據。英特爾不光從芯片,硬件廠商,更多是利用芯片的優勢,然后往大數據的基礎架構發展,那就是英特爾版本的Hadoop,不管在硬件上、軟件上都有改進。然后對Hadoop這種方法可優化來進行改進,知道終端各種不同的解決方案來實現所謂大數據的價值,也是來實現智慧,城市中的智慧,這兩個價值。
我今天講的就是這些內容,因為我們主要從交通領域講起。其實每個領域都是相通的,最主要就是這些領域會產生各種各樣的數據,因為你有智慧的話肯定要從數據里面才能得出智慧,這個數據量也是非常巨大。現在正好提到數據,要實現大數據你傳統的解決方案是不行的,必須有這種開放式的新的解決方案。就像前面提到的像Hadoop的結構來實現。那么Hadoop架構,因為Hadoop起步才兩三年時間,也遠遠談不到更好,但是跟傳統的數據庫相比有很多的優勢。所以說我們在這個領域做的還是比較新的,在國內應用也是最廣的。因為英特爾起步是最晚的,但是在國內Hadoop的,譬如說運用案例應該是最多的。我今天就講到這里,謝謝大家