近年國內大數據概念被炒得愈發火熱，相關的產品廠商也如雨后春筍般應運而生，大數據服務市場迎來爆發期。然而，很多大數據服務仍然處于“玩概念”的階段，大數據只被當做噱頭，并沒有發揮其實質作用，還有許多用戶購買了產品才發現自己被忽悠了。這種現狀下，大數據不免被扣上“華而不實”、“炒作為生”的帽子，那么我們應該如何正確看待大數據?
大數據概念
大數據只是一個名詞，并不是數據量大就一定是大數據，假設單機器處理能力10G，那么大于10G就是大數據。網友heguangwu認為，大數據的核心是Value，哪怕用excel分析也可以。當前的趨勢是數據存儲和分析代價越來越小，所以能保存的數據的廣度和分析的深度都在擴大。以前出于成本考慮，不在保存分析范圍內的數據，現在也開始作為一個參考的維度了。對企業而言，如何從更多的數據集分析出更有價值的東西才是他們所關心，即使是小企業有的也開始考慮(做大數據方面的投入)。
網友chenxing2從事SQL相關工作，其公司不久前做了一個ERP，增加功能包括貢獻度、銷售構成、ABC分析、凍銷分析、商品趨勢、銷售速度、業績趨勢等等，而在客戶使用他們研發的這套軟件之前，一直使用excel做分析。那么他們現在做的這些是否也算是大數據處理?chenxing2表示：“個人認為，怎么得用個聚類、推薦、語言識別、特征識別、樸素貝葉斯算法與交叉驗證等之類的才夠檔次。現在大數據的一些開發方式及開源框架，就目前很多公司的那點數據量根本用不上，現在單庫解決了，數據量再大，可以后期分表分庫、讀寫分離解決。當數據量再大時，才考慮大數據的框架。所以，現在用了也是大炮打蚊子，起不到作用，搞不好還不如傳統手段來的高效。目前能用上個nosql數據庫感覺都是超前一點的了。”
對于chenxing2的看法，網友heguangwu解釋道：“表面上看，企業所用的傳統方式已經很好的解決問題，但公司數據終究會越來越多，而且要求分析結果會越來越快，到最后慢慢會應用到大數據的一些技術。現在即使很多大公司也不是馬上全盤采用當前的所有大數據技術，也是一個逐步替代和使用的過程。”
其實，數據一直存在且量未必小，只不過以前缺乏挖掘數據和將其產生聯系的思維，以及分析數據的能力。在信息爆炸時代中，隨著技術和硬件設備的增強，海量數據的價值被有意識的挖掘，大數據概念也慢慢被認可，明確“數據資源也是資產”這個觀點。
并不是所有的數據都具備挖掘價值，數據有足夠細的顆粒度、豐富的維度、活性以及相互關聯，只有這樣的大數據，才是可以對各種行為進行數字化描述，從而歸納出信息的。除了數據，技術也是大數據挖掘必不可少的一環，當數據規模達到甚至遠超PB級別，當數據開始位于不同數據庫，甚至不同平臺上，當數據以各種不同的形式出現，如何尋找有用的信息?這一切都引發了如今“面向大數據”的技術變革。而這以上的內容均是為了最終的商用做準備。
大數據處理相關技術
大數據技術種類繁多，近年誕生的新技術也有不少，SIGMOD、VLDB、Hadoop submit、spark submit等等，那么，網友們是如何看待大數據技術的呢?
網友chenxing2說道：“關于大數據分析，從最開始的Hadoop及Hadoop的map reduce的問題發展到Spark、Samza、Apache S4、storm等大行其道，而后storm的一些問題又衍生出了JStorm和Twiter Heron。ES(ElasticSearch是基于Lucene的搜索服務器，提供一個分布式多用戶能力的全文搜索引擎)雖然能夠與Hadoop結合使用，但一般推薦solr + haddop結合。”
網友laputa73從自身應用經驗中總結得到，voltdb的社區版只能玩玩，持久化，集群，HA特性都沒有。influxdb還不成熟，集群方案尚不可用。
網友heguangwu說：“時序數據庫方面開源方案不多，OpenTSDB也只是在HBase上套一個schema來做的，性能只能說是一般了。這方面感覺開源的關注度不夠，無太多的產品。”
實際應用案例
網友laputa73講述了其在應對自身大數據處理的兩種需求時所遇到的困難：“我們的需求一類以插入為主，例如每天500G的日志分析和查詢，目前使用ES處理，把它當TSDB用。遇到關于ES部署使用相關的問題，參數調整，索引規劃等，但感覺ES的寫入性能沒有想象中高。ES做一個大集群，和分開幾個集群，寫入性能是否有不同?另一類需求以更新為主，每天1億次更新，但總記錄數在500w左右，這項工作以前用Oracle，后來換成了Redis，可感覺不太好用。Redis的主要問題是它是一個KV型的而非文檔型，不能使用主鍵之外的查詢，這就需要自己維護多個表，這樣相當于降低了性能。”
網友heguangwu表示，對于第一類需求，ES在這種數據量下應該是沒有問題的，ES在內存中維護了一個反轉索引表，所以能保證速度，相當于數據庫的內存索引。對于第二類需求，替代方案可以嘗試HBase(性能最低)/Cassandra/巨杉(性能應該最高)之類的解決方案，插入速度應該可以，查詢就要取決于具體的查詢方式了。Redis確實只支持主鍵查詢，這類可以試試voltdb，或許能滿足你的需求，其也是內存數據庫性能高，但好像只能用存儲過程。內存數據庫這塊大多是商用方案比較多，開源的大多是KV型存儲，而不是數據庫。
目前大數據處理廠商基本能夠分為三類。首先是具有收集大量數據的能力的公司，其次是具備數據分析技能的公司，最后是基于思維的，對數據挖掘新價值有想法的公司。我們現在處于一個數據過量而技能稀缺的時代，資訊的價值就是資訊本身而不是資訊的來源，而大數據最值錢的部分就是它自身。即便我們處理數據量不是很大，也并不妨礙我們去更多的去關注數據本身的價值。以上觀點均出自IT168旗下chinaunix論壇的一則討論帖中，網友們分享了自己對大數據方面的認知及處理經驗。小編將話題內容篩選整理成文。還對大數據概念和技術等云里霧里的小伙伴們，不妨一看。
原帖地址：http://bbs.chinaunix.net/thread-4185247-1-1.html
京公網安備 11010502049343號