‘星環科技：國內落地案例最多的一站式Hadoop發行版團隊。 誠征代理，招聘創業人才’
之所以要區分大數據應用與BI(商業智能)，是因為大數據應用與BI、數據挖掘等，并沒有一個相對完整的認知。
BI（BusinessIntelligence）即商務智能，它是一套完整的解決方案，用來將企業中現有的數據進行有效的整合，快速準確的提供報表并提出決策依據，幫助企業做出明智的業務經營決策。
伴隨著BI的發展，是ETL，數據集成平臺等概念的提出。ETL，Extraction Transformation Loading，數據提取、轉換和加載，數據集成平臺主要功能對各種業務數據進行抽取和相關轉化，以此來滿足BI、數據倉庫對數據格式和內容挖掘的要求。
數據集成平臺的基礎工作與ETL有很大的相似性，其主要功能是實現不同系統不同格式數據地抽取，并且按照目標需求轉化成為相應的格式。數據集成開始是點對點的，慢慢地發現這種模式對于系統之間，不同所有權的企業數據流向以及數據標準控制很難，為此，誕生了對統一企業數據平臺的需求，來實現企業級之間的數據交互。
數據集成平臺就像網絡中Hub，可以連接所有應用系統，實現系統之間數據的互通有無。數據集成平臺以BI、數據倉庫需求而產生，現在已經跨越了最初的需求，上升到了一個更高的階段。
如今大數據應用更多關注非結構化數據，更多談論互聯網，Twitter、Facebook、博客等非結構化數據，如此理解大數據應用，顯然就有些走偏了。結構化數據也屬于大數據，且呈現出相同的特點和特征，如數據量大，增長越來越快，對數據處理要求高等。
結構化數據是廣義大數據中含金量或者價值密度最高的一部分數據，與之相比，非結構化數據含金量高但價值密度低。在Hadoop平臺出現之前，沒有人談論大數據。數據應用主要是結構化數據，多采用IBM、HP等老牌廠商的小型機或服務器設備。
采用傳統方法處理這些價值密度低的非結構化數據，被認為是不值得的，因為其產出實在是有限。Hadoop平臺出現之后，提供了一種開放的、廉價的、基于普通商業硬件的平臺，其核心是分布式大規模并行處理，從而為非結構化數據處理創造條件。
大數據應用的數據來源應該包括結構化數據，如各種數據庫、各種結構化文件、消息隊列和應用系統數據等，其次才是非結構化數據，又可以進一步細分為兩部分，一是社交媒體，如Twitter、Facebook、博客等產生的數據，包括用戶點擊的習慣/特點，發表的評論，評論的特點，網民之間的關系等，這些都構成了大數據來源。另外一部分數據，也是數據量比較大的數據，就是機器設備以及傳感器所產生的數據。以電信行業為例，CDR、呼叫記錄，這些數據都屬于原始傳感器數據，主要來自路由器或者基站。此外，手機的置傳感器，各種手持設備、門禁系統，攝像頭、ATM機等，其數據量也非常巨大。
對于分析大數據的工具，目前所有的分析工具都側重于結構化分析，例如針對社交媒體評論方向的分析，根據特定的詞頻或者語義，通過統計正面/負面評論的比例，來確定評論性質。如果有一個應用系統是接收結構化數據的，例如一個分析系統，接收這些語義就可以便于分析。
讓大數據應用落地，其中的關鍵在于與行業應用的深度融合。
公安行業的視頻影像處理是一個特定應用領域，傳統BI、ETL工具拿這些數據沒有辦法，采用分布式Hadoop進行處理能夠帶來很好的效益，因為Hadoop可以處理數據量足夠大。公安行業實際上已采集了大量視頻影像數據，利用這些數據，可以追蹤一個嫌疑犯的行蹤，什么時間在全國哪些地區出現過。這些應用不可能單純依靠人的力量，需要借助人臉識別、圖像識別技術、模式處理，數據壓縮等技術，需要海量處理軟件，抓出相關特征，幫助公安人員提高工作效率。
在電信行業，計費系統實際上是對各種數據進行整合后的結果，是一個縮小的數據。借助大數據應用，運營商可以原始大數據進行分析，例如分析傳感器數據是否有異常，從而判斷設備異常等，這些都是一些用傳統BI工具無法實現的分析，其結果往往會出乎意料，幫助運營商提高服務水平以及用戶的滿意度。
在互聯網行業，通過分析手機上網軌跡，可以分析了解客戶群，了解用戶的偏好，此外，獲取地理位置的信息，也具有特定價值。
從這些行業大數據應用分析來看，一個是視頻影像處理，一個是日志分析，另外一個是處理特定文件格式的分析處理，彼此之間顯然沒有任何通用性的特點，其共同點就是利用了廉價的大數據處理平臺。
Gartner：大數據宣傳在商務智能市場成效不明顯
市場研究公司Gartner指出，去年的大數據宣傳未能促進全球商務智能和分析市場出現快速增長。
Gartner稱，盡管商務智能和分析市場在2013年增長了8%，增長至144億美元，但是漲幅低于預期。大數據通常指對來自社交網絡、傳感器等來源的海量非結構化信息進行的挖掘與分析，而傳統的商務智能只是報告和分析結構化數據存儲。
Gartner 分析師Dan Sommer和Bhavish Sood在報告寫道： “雖然大數據宣傳力度在2013年達到了高潮，但是對分析市場的影響卻不是很大。”報告稱，在Gartner調研的機構中，僅8%的機構實際部署了大數據項目，57%的機構仍處于調研和規劃階段。這一水平已經影響到了大量企業的創新周期。
大數據巨頭在2013年的營利與增長速度之間出現了脫節。SAP、甲骨文、IBM和賽仕研究所等四大商務智能公司的增長率嚴重低于市場平均增長率。這些廠商面臨的核心挑戰是他們的成熟程度。“他們的核心解決方案一直是IT主導的企業商務智能平臺，并通過語義層將信息與報告、查詢與在線分析處理等功能連接在一起。盡管價值昂貴，但是大多數機構部署的均為這種類型的商務智能解決方案。”
為此類工具提升了低成本備選方案的Jaspersoft和Pentaho等公司在去年獲得了快速增長，其增長率高于市場平均增長率。Gartner的報告指出，Tibco Spotfire和Tableau等公司在2013年推出的數據發現工具對于商務智能終端用戶體驗來說可以說是一種全新的標準。這些工具讓用戶對數據集有了更多的視覺感受。
分析師指出，大型商務智能廠商去年一直在不遺余力的開發自己的數據發現產品。這一舉措將整個市場的競爭推出到了一個更激烈的階段。基于云的商務智能在去年開始受到關注。盡管其僅占有4%的市場份額，但是其增長率達到了42%。“尤其是小型公司已經開始向云遷移，并將其視為一種可以處于有關大數據和分析等事務的使能器。”
京公網安備 11010502049343號