數字化轉型是當今IT應用的標桿和旗幟，也是討論最熱門的話題。在我看來，數字化轉型有兩個方面的含義：一是與生產、業務相關的過程盡可能實現數字化，能保留數據全部進行保留；二是基于數據展開分析，動用大數據、人工智能等技術手段，透視數據背后的秘密，產生價值，知道企業生產和業務決策。

對于數字化轉型的第一階段，絕對是一個“燒錢”的階段，但對于企業來說，這是一個必要條件，具備了數字化的能力不一定確保企業成功，但沒有第一階段數字化、數據積累，企業在未來的競爭中，一定打不過哪些數字化成功轉型的企業。與第一階段的“燒錢”相比，第二個階段對數據進行洞察，將更加重要，也更為關鍵，這就離不來大數據技術。

經過多年的信息化應用，企業積累了大量的數據，但以往這些數據無法有效關聯在一起，Hadoop分布式系統基礎架構的出現，為大數據技術應用奠定基礎，創造了條件。不同于傳統磁盤陣列，也不同于ServerSAN或者超融合的數據存儲和組織方式，Hadoop會成存儲市場上的第3類存儲嗎？

Hadoop會成存儲第3級嗎？

Hadoop，數據存儲和導入

無論是單獨構建集群系統，規模視情況而定？還是選用市場現有的大數據一體機，用戶都需要一個單獨平臺進行大數據分析處理，系統構建完成之后，首先要把數據導入。

企業數據如何導入Hadoop系統？系統又如何組織數據的呢？為此，我請教百分點大數據的專家獲知，可以借助不同的工具，對于數據進行導入。

不同數據類型，需要采用的不用工具。以數據庫數據為例，要采用的工具是Sqoop，可以將一個關系型數據庫（例如 ： MySQL、Oracle、PostgreSQL等）中的數據導進到Hadoop（Hive）的HDFS中，也可以反過來將HDFS數據導進到關系型數據庫中。針對非結構化數據，例如文本數據、IoT（物聯網）機器數據等，需要使用Flume，它是Cloudera提供的一個海量日志采集、聚合和傳輸的系統，同時Flume也提供對數據進行簡單處理，并寫到各種數據接受方（可定制）。需要稍加說明的是，圖片大小不同，接入介質（這里指MongoDB、Hbase或HDFS）不同，其中，有些介質適合小文件數據處理，有些適合處理大文件，因此，要根據非結構化數據的特點，分別加以存儲。

“標簽”體系是基礎

當數據就緒之后，接下來就要由具有行業經驗、業務經驗的專家，結合業務系統和業務形態構建數據的標簽體系。根據介紹，系統為一個用戶打的各種標簽高達近萬種，其顆粒度之細致超乎想象?？梢院敛豢鋸埖恼f，機器甚至比你更加了解你自己。對于人來說，做過事情經過一段時間會被遺忘，但機器不會，主要數據不刪除，機器永遠不會忘記。

標簽體系是用戶業務畫像的基礎，通過各種靈活業務查詢，就可以演變出千變萬化的業務創新應用，可以是解決現有業務系統的問題，如性能問題、系統預警問題；也可以針對業務提供創新的業務服務，例如零售行業的個性化推薦、金融防欺詐和反洗錢等，這些業務應用有些屬于離線業務分析，有些則涉及在線的數據處理能力。不同系統，需要采用不同的技術手段，可以列式數據庫，也可以是Spark等。

以某省交管部門為例，隨著數據量的不斷增加，他們所采用的關系數據庫就出現了性能不足的問題。對此，他們引入了大數據的技術，通過分布式數據處理，成功解決系統存在的問題。

從本質上說，大數據技術和關系型數據庫所提供服務，從方向上是一致的。關系型數據庫也提供了數據存儲、數據查詢，數據倉庫ETL等一系列技術，提供在線數據分析等服務。與之相比，大數據應用所提供數據顆粒度更細，分布式系統能夠處理的數據量更大，數據分析技術和手段更加多樣性。

如今，隨著人工智能，機器學習等技術的成熟，經過大量數據的訓練和矯正，數據建模分析的效果愈發顯現了出來。以零售行業個性化推薦應用為例，已經成為了行業應用的標配，效果顯著。

小結

大數據應用為人類工作生活展示了美麗畫卷，所謂理想豐滿，現實骨干，如今大數據應用現狀并不令人滿意，問題并不在Hadoop等技術方向上，方向沒有錯，但與此同時，Hadoop技術復雜性成為了應用的限制門檻。

必須簡化技術的復雜度，為此百分點等廠商推出了像BD-OS這樣的大數據平臺，幫助用戶簡化和使用各種分析手段和工具。目前，行業的龍頭企業正在積極引入這些技術，因此，大數據技術和行業應用還在結合之中，行業應用的爆發還需要一段時間的積累，所謂不鳴則已，一鳴驚人！

大數據普遍爆發也許真的用不了太長的時間！

“大數據，Hadoop，存儲應用第三極”將作為沙龍主題，在今年12月“中國存儲峰會”推出，敬請關注！