從高成本數據倉庫將任務卸載有時被看做是Hadoop商用集群的首要目標。遷移提取、轉換、加載(ETL)、查詢以及報告工作并不能顯著改變商業模式，但它可能會抑制數據倉庫的增長和成本。
從高成本數據倉庫將任務卸載有時被看做是Hadoop商用集群的首要目標。遷移提取、轉換、加載(ETL)、查詢以及報告工作并不能顯著改變商業模式，但它可能會抑制數據倉庫的增長和成本。
但是，即便進入Hadoop時代已經有些年頭了，將任務遷移至分布式平臺并非易事。能夠找出哪些任務在不給大量開發人員帶來麻煩的情況下進行遷移，有助于數據管理人員做出最佳選擇。
一款來自Cloudera公司的Hadoop工具Navigator Optimizer可能是個不錯的選擇。它源于該公司在2015年收購的Xplain.io，這家公司試圖將某些與SQL類似的數據庫優化功能引入Hadoop。該產品于今夏開始正式供應。
“該工具可以讓人們查看那些正在其他平臺上運行的查詢，并可以查看它們將會如何在我們的Hadoop環境中表現，” Conversant的一名軟件工程經理Peter Wojciechowski說，而Conversant是一家數字營銷公司，它通過對大量數據的處理來呈現個性化的廣告。
Conversant在查詢中的表現
Conversant最初是將Hadoop用作數據的第一著陸點，之后通過Pivotal Greenplum數據倉庫進行處理以用于分析。團隊使用Navigator已經能夠將某些任務遷移至Hadoop和Apache Hive數據倉庫以及Impala SQL查詢環境。
“如今，核心的ETL和某些大型處理工作是在一個Hadoop集群上進行的，”Wojciechowski說，高度迭代的處理工作對于Hadoop來說是不錯的目標，但Greenplum并未被取代。在他的公司里，Greenplum仍擔當著重要的分析責任。但現在，其使用則更為精煉。
Wojciechowski說，“以前，Greenplum負責了所有的工作負載，但并不是所有工作負載都與其契合。現在，有了該工具，我們就能更加游刃有余，例如，我們可以判斷什么才是適合在Hive中運行的。”
通過使用Optimizer，Wojciechowski和他的團隊能夠說出在Hive和Impla中查詢將會如何更好的執行，這就如同是接受在新環境中查詢是如何執行的指導是一樣的。Hadoop工具在生產中還有著進一步的應用。Optimizer與Navigator協同工作會幫助你判斷如何將工作負載查詢進行分組，這樣就能發現更多的重復并更有效的對集群進行利用，”他說。
像Navigator Optimizer之類的技術有助于揭示數據連接，這是一個SQL常見的特性，而它會對Hadoop造成阻礙，451 Research的分析師James Curtis如是說。“Navigator會在將任務遷移至Impala或Hive之前對已有工作進行分析，并對需要重做的連接數量進行估計，”他說。
對于該工具在任務遷移中的作用他表示認同，但他強調對查詢的優化遠比僅用于遷移有著更廣泛的使用。“對于那些擁有數以千計查詢的公司來說，優化查詢并不是瑣碎的工作，”Curtis說。
改變和提升
像Cloudera Navigator套件之類產品的可用性可以覆蓋包括所有最困難遷移任務中的一項：即將主框架數據遷移至Hadoop生態系統。
為此，主框架和Hadoop數據轉換公司Syncsort表示，它正在和Cloudera合作，通過將Navigator連接至其工具來追蹤傳統來源的數據沿襲以改善數據治理。這些傳統來源不僅限于主框架，而是包括運行在中端系統上的數據倉庫。
對于將關系型數據倉庫任務遷移至Hadoop來說，Cloudera并不是可以提供工具唯一廠商，這一領域是十分活躍的。
對于他們來說，獨立的Hadoop分銷競爭對手Hortonworks和MapR Technologies Inc.會提供相關的Hadoop工具，包括基于Apache Calcite的SQL優化工具，而Apache Calcite是一款包括了一個SQL解析器和查詢規劃器的開源項目，而它剛剛迎來它的第一個生日。
而且，數據管理服務公司Bitwise最近推出了Hydrograph，這是一款旨在簡化卸載ETL工作負載到Hadoop和其他大數據框架的工具。Bitwise的軟件是與客戶Capital One一起開發的，它基于的開發環境使用了XML接口，因此任務可以遷移至不同的Hadoop框架，例如從MapReduce到Tez，只需要少量重新配置。
如果這些Hadoop工具能夠讓遷移設計更上一層樓并不斷探索試錯，則會改善對Hadoop的提升。對于企業中Hadoop和它的生態系統組件來說，在平臺上高效地獲取數據倉庫工作仍是一項重要步驟。
京公網安備 11010502049343號