隨著大數據的深入應用,很多人對大數據和BI的界限開始模糊,之所以要區分大數據應用與BI(商業智能),是因為大數據應用與BI、數據挖掘等,并沒有一個相對完整的認知。
BI(BusinessIntelligence)即商務智能,它是一套完整的解決方案,用來將企業中現有的數據進行有效的整合,快速準確的提供報表并提出決策依據,幫助企業做出明智的業務經營決策。
伴隨著BI的發展,是ETL,數據集成平臺等概念的提出。ETL,Extraction Transformation Loading,數據提取、轉換和加載,數據集成平臺主要功能對各種業務數據進行抽取和相關轉化,以此來滿足BI、數據倉庫對數據格式和內容挖掘的要求。
數據集成平臺的基礎工作與ETL有很大的相似性,其主要功能是實現不同系統不同格式數據地抽取,并且按照目標需求轉化成為相應的格式。數據集成開始是點對點的,慢慢地發現這種模式對于系統之間,不同所有權的企業數據流向以及數據標準控制很難,為此,誕生了對統一企業數據平臺的需求,來實現企業級之間的數據交互。
數據集成平臺就像網絡中Hub,可以連接所有應用系統,實現系統之間數據的互通有無。數據集成平臺以BI、數據倉庫需求而產生,現在已經跨越了最初的需求,上升到了一個更高的階段。
如今大數據應用更多關注非結構化數據,更多談論互聯網,Twitter、Facebook、博客等非結構化數據,如此理解大數據應用,顯然就有些走偏了。結構化數據也屬于大數據,且呈現出相同的特點和特征,如數據量大,增長越來越快,對數據處理要求高等。
結構化數據是廣義大數據中含金量或者價值密度最高的一部分數據,與之相比,非結構化數據含金量高但價值密度低。在Hadoop平臺出現之前,沒有人談論大數據。數據應用主要是結構化數據,多采用IBM、HP等老牌廠商的小型機或服務器設備。
采用傳統方法處理這些價值密度低的非結構化數據,被認為是不值得的,因為其產出實在是有限。Hadoop平臺出現之后,提供了一種開放的、廉價的、基于普通商業硬件的平臺,其核心是分布式大規模并行處理,從而為非結構化數據處理創造條件。
大數據應用的數據來源應該包括結構化數據,如各種數據庫、各種結構化文件、消息隊列和應用系統數據等,其次才是非結構化數據,又可以進一步細分為兩部分,一是社交媒體,如Twitter、Facebook、博客等產生的數據,包括用戶點擊的習慣/特點,發表的評論,評論的特點,網民之間的關系等,這些都構成了大數據來源。另外一部分數據,也是數據量比較大的數據,就是機器設備以及傳感器所產生的數據。以電信行業為例,CDR、呼叫記錄,這些數據都屬于原始傳感器數據,主要來自路由器或者基站。此外,手機的置傳感器,各種手持設備、門禁系統,攝像頭、ATM機等,其數據量也非常巨大。
對于分析大數據的工具,目前所有的分析工具都側重于結構化分析,例如針對社交媒體評論方向的分析,根據特定的詞頻或者語義,通過統計正面/負面評論的比例,來確定評論性質。如果有一個應用系統是接收結構化數據的,例如一個分析系統,接收這些語義就可以便于分析。
讓大數據應用落地,其中的關鍵在于與行業應用的深度融合。
公安行業的視頻影像處理是一個特定應用領域,傳統BI、ETL工具拿這些數據沒有辦法,采用分布式Hadoop進行處理能夠帶來很好的效益,因為Hadoop可以處理數據量足夠大。公安行業實際上已采集了大量視頻影像數據,利用這些數據,可以追蹤一個嫌疑犯的行蹤,什么時間在全國哪些地區出現過。這些應用不可能單純依靠人的力量,需要借助人臉識別、圖像識別技術、模式處理,數據壓縮等技術,需要海量處理軟件,抓出相關特征,幫助公安人員提高工作效率。
在電信行業,計費系統實際上是對各種數據進行整合后的結果,是一個縮小的數據。借助大數據應用,運營商可以原始大數據進行分析,例如分析傳感器數據是否有異常,從而判斷設備異常等,這些都是一些用傳統BI工具無法實現的分析,其結果往往會出乎意料,幫助運營商提高服務水平以及用戶的滿意度。
在互聯網行業,通過分析手機上網軌跡,可以分析了解客戶群,了解用戶的偏好,此外,獲取地理位置的信息,也具有特定價值。
D1Net評論:
從這些行業大數據應用分析來看,一個是視頻影像處理,一個是日志分析,另外一個是處理特定文件格式的分析處理,彼此之間顯然沒有任何通用性的特點,其共同點就是利用了廉價的大數據處理平臺。