企業(yè)產(chǎn)生和收集的數(shù)據(jù)量日漸增長,隨之而來的是對這些數(shù)據(jù)進行集成需求的增長,可以幫助IT團隊簡化并管理這一流程的數(shù)據(jù)集成軟件應(yīng)運而生。但是產(chǎn)品類型如此豐富,對你的企業(yè)來說哪些數(shù)據(jù)集成工具才是最佳之選呢?選擇這類產(chǎn)品并非要挑那些擁有豐富功能的,而是要選擇與你的集成需求和企業(yè)特質(zhì)最為適配的產(chǎn)品。
在對數(shù)據(jù)集成平臺評估之前,要在企業(yè)內(nèi)部進行調(diào)查來協(xié)助產(chǎn)品選擇過程。你的調(diào)查應(yīng)該涵蓋下列主題:
源系統(tǒng)。企業(yè)擁有多少源系統(tǒng)?是否擁有重疊系統(tǒng),例如多重CRM或是銷售處理應(yīng)用程序?除了傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù),是否存在非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)?除了內(nèi)部數(shù)據(jù)源,是否存在外部數(shù)據(jù)源?數(shù)據(jù)量和更新頻率又如何呢?
集成用例。企業(yè)需要為分析而進行數(shù)據(jù)集成么——主要通過數(shù)據(jù)倉庫?應(yīng)用程序集成又是怎樣呢?你所在的企業(yè)需要為主數(shù)據(jù)管理(MDM)獲取和處理數(shù)據(jù)么?在本地系統(tǒng)和云應(yīng)用程序或物聯(lián)網(wǎng)設(shè)備間同步數(shù)據(jù)又是如何呢?亦或是在本企業(yè)以及其他企業(yè)的內(nèi)部業(yè)務(wù)流程和應(yīng)用程序間交換數(shù)據(jù)?需要為復(fù)雜事件處理和流處理應(yīng)用程序捕獲并交付數(shù)據(jù)么?在不遷移至中央數(shù)據(jù)存儲的情況下,是否需要將來自幾乎完全不同系統(tǒng)的數(shù)據(jù)進行集成呢?
企業(yè)規(guī)模。你所在企業(yè)的年收入怎樣,擁有多少員工,對于數(shù)據(jù)集成的IT預(yù)算有多少?
資源和技術(shù)。企業(yè)是否擁有專門的IT資源來執(zhí)行數(shù)據(jù)集成工作?對于使用數(shù)據(jù)集成工具以往的經(jīng)驗水平如何?
在你回答了這些問題之后,就可以瀏覽以下十大數(shù)據(jù)集成產(chǎn)品來探尋哪一款與你的需求和特點最為匹配了。
針對大型企業(yè)的數(shù)據(jù)集成產(chǎn)品
大型企業(yè)通常具有以下特點:
不同的源系統(tǒng)集總是與高數(shù)據(jù)量相伴而生的。結(jié)構(gòu)化數(shù)據(jù)居于主導地位,但是像社交媒體,網(wǎng)頁服務(wù)器日志和平面文件,還有如XML和面向消息數(shù)據(jù)的半結(jié)構(gòu)化數(shù)據(jù)源同樣需要進行集成。
多種集成用例。
足夠的IT預(yù)算來購買任何可用數(shù)據(jù)集成工具和必要的支持基礎(chǔ)設(shè)施。
專門的IT團隊,這些團隊擁有數(shù)據(jù)集成專家或是有預(yù)算雇用那些在使用給定數(shù)據(jù)集成工具上有豐富經(jīng)驗的員工和顧問。
符合上述特征的大型企業(yè)應(yīng)該考慮用Informatica PowerCenter和IBM InfoSphere Information Server來進行數(shù)據(jù)集成,因為這些產(chǎn)品對集成用例進行了全方位的解決。這兩款產(chǎn)品還提供可擴展性以處理大型企業(yè)對數(shù)據(jù)復(fù)雜性,數(shù)據(jù)量和速度的要求,而且還能跨多個項目使用,并用于任意規(guī)模的團隊。IBM和Informatica都提供MDM和數(shù)據(jù)清理功能。IBM的產(chǎn)品解決了信息分析和管理的需求,而Informatica則專注于信息集成。但是這些強大的工具價格不菲。除了它們通常要比競爭對手的產(chǎn)品貴出許多之外,它們還要求使用者有更為豐富的技能和經(jīng)驗。此外,比起競爭對手,它們通常還要求有更大量的基礎(chǔ)設(shè)施和更復(fù)雜的實現(xiàn)。
多年來,很多IBM和Informatica的競爭對手顯著地提高了它們產(chǎn)品的功能和特性,這為大型企業(yè)提供了更多的選擇,對于那些在數(shù)據(jù)集成上有更少要求的企業(yè)尤為如此。來自SAP,Oracle和SAS的數(shù)據(jù)集成工具解決了大量數(shù)據(jù)源和數(shù)據(jù)集成的用例。這些公司同樣提供企業(yè)級應(yīng)用程序,如尤其是在大型企業(yè)使用廣泛的企業(yè)資源計劃,CRM和分析應(yīng)用等,而且它們也將自己的數(shù)據(jù)集成工具用在這些應(yīng)用程序上。如果一家企業(yè)在上述任意公司的應(yīng)用程序上有巨大投入,那么將該廠商的數(shù)據(jù)集成工具納入考慮范疇也是理所應(yīng)當?shù)摹?/p>
SAP Data Services和SAS Data Management Platform都對大型企業(yè)的數(shù)據(jù)集成功能提供廣泛的支持。雖然SAP Data Services僅限于和SAP的業(yè)務(wù)應(yīng)用程序協(xié)同工作,但是它正變得與該公司軟件組合集成的更加緊密。這就意味著已經(jīng)是SAP客戶的企業(yè)就需要考慮使用這一集成產(chǎn)品了。同樣,正在使用SAS統(tǒng)計和分析產(chǎn)品的客戶則應(yīng)該將SAS Data Management Platform納入考量。
針對有深入集成需求的中型企業(yè)的工具
中型企業(yè)通常具有以下特點:
各種源系統(tǒng)用于處理重疊數(shù)據(jù)對象,而這些數(shù)據(jù)對象可能是在本地也可能是在云端。數(shù)據(jù)量會因行業(yè)或是所提供的產(chǎn)品和服務(wù)的不同而不同。結(jié)構(gòu)化數(shù)據(jù)源仍占主導地位,而且任何需要進行集成的非結(jié)構(gòu)化數(shù)據(jù)通常有范圍限制。
如果將來數(shù)據(jù)倉儲得以解決,雖然應(yīng)用程序集成可能甚囂塵上,但是提取,轉(zhuǎn)換和加載(ETL)以及數(shù)據(jù)倉庫還是主要的集成用例。
IT預(yù)算有限。
小規(guī)模的IT團隊來執(zhí)行數(shù)據(jù)集成工作和商業(yè)智能開發(fā)。針對特定工具招聘專家在財政上可能不具備可行性。
雖然有以上特點的中型企業(yè)有著顯著的集成需求,但是他們在人力、財力和時間上的可操作資源是有限的。這些公司應(yīng)該考慮來自Microsoft,Oracle,Information Builders,Talend和Pentaho的數(shù)據(jù)集成產(chǎn)品。對于在這些企業(yè)中常見的數(shù)據(jù)多樣性,集成范圍和資源限制等問題,這些工具都提供了解決方案。
對于擁有資深SQL經(jīng)驗開發(fā)人員且正在使用Microsoft SQL Server的企業(yè)來說,應(yīng)該考慮Microsoft數(shù)據(jù)相關(guān)的產(chǎn)品,如SQL Server Integration Services(SSIS)。這些工具共享了一個公共開發(fā)方法,這可以讓IT人員更加有效的與多種Microsoft工具協(xié)同工作。Microsoft一直在對SSIS的功能進行擴展以處理更為復(fù)雜的集成用例,例如緩慢改變維度和模糊查詢,以及平面數(shù)據(jù)和關(guān)系型數(shù)據(jù)庫之外的各種數(shù)據(jù)源。雖然Microsoft的源和目標不僅限于其自己的平臺,但是部署仍然限制為Windows。Microsoft的工具歷來都是在本地的,但是該公司已經(jīng)在將相關(guān)功能遷移至云端方面取得了顯著進步。而不利的一面是SSIS缺乏其競爭對手所擁有的強大的集成轉(zhuǎn)換,工作流和流程管理,例如使用存儲庫和基于團隊的開發(fā)管理功能來進行追蹤和管理流程的能力。
與Microsoft類似,那些當前正在使用Oracle數(shù)據(jù)庫的企業(yè)可能會希望考慮Oracle Data Integrator。ODI是一款強大的數(shù)據(jù)和應(yīng)用程序集成工具,它能夠處理各種數(shù)據(jù)源和集成用例,包括BI,MDM和應(yīng)用程序集成;它還支持數(shù)據(jù)量和速度方面的可擴展性。雖然該產(chǎn)品有大量可供使用的功能,但是它總是用來自動執(zhí)行SQL腳本。ODI確實需要足夠的培訓才能應(yīng)對其略顯復(fù)雜的實施。雖然該產(chǎn)品對接各種各樣Oracle產(chǎn)品進行工作的能力擴展了其功能,但是它也增加了其部署的復(fù)雜性,這讓其很難用于資源有限的IT人員。
Information Builders的iWay Integration Suite能夠處理諸如MDM,數(shù)據(jù)清理和數(shù)據(jù)治理之類復(fù)雜的集成用例。當一家企業(yè)正在使用Information Builders的其他信息產(chǎn)品時,應(yīng)該將iWay納入考慮范疇,因為它提供了與那些產(chǎn)品緊密的集成。這些工具因其可擴展性和在操作系統(tǒng)上可實時工作的能力而聞名。但它也有一個缺點:該產(chǎn)品相關(guān)的專業(yè)知識和經(jīng)驗較為有限。
Talend和Pentaho的同名數(shù)據(jù)集成工具同樣能夠處理各種集成用例。兩款產(chǎn)品都有開源版本,這可以讓IT團隊避免任何預(yù)先許可的成本。它們的開源版本提供固定數(shù)據(jù)集成功能,對于那些沒有主動要求集成需求的企業(yè)和預(yù)算緊縮的IT團隊來說,這再適合不過了。而它們公司產(chǎn)品的企業(yè)版本則提供很明顯更加強大的功能。
小企業(yè)要進行集成需要哪些考量
小企業(yè)通常具有以下特點:
以結(jié)構(gòu)化數(shù)據(jù)源為主的各種源系統(tǒng)。
集成用例為ETL和數(shù)據(jù)倉庫。
IT預(yù)算非常有限。
在諸如數(shù)據(jù)集成,BI和操作系統(tǒng)等領(lǐng)域IT人手捉襟見肘。
這些企業(yè)可能需要考慮那些基于他們已有數(shù)據(jù)庫的數(shù)據(jù)集成工具——也就是Oracle或Microsoft——或是來自Talend和Pentaho的產(chǎn)品。這些工具是物有所值的,因為SSIS捆綁了SQL Server,而Talend和Pentaho的開源版本則提供比很多企業(yè)所需更多的數(shù)據(jù)集成功能。注意,小型企業(yè)應(yīng)該確保他們的IT部門擁有足夠的專業(yè)知識來有效利用這些工具。
針對具有有限集成需求的小企業(yè)的工具
這些企業(yè)主要是直接從他們的源系統(tǒng)做業(yè)務(wù)報告而且不會創(chuàng)建數(shù)據(jù)倉庫來對那些源系統(tǒng)進行集成。在這種情況下,這些企業(yè)通常是不會對數(shù)據(jù)集成工具和IT技術(shù)進行投資的。相反,IT會依賴現(xiàn)有應(yīng)用程序捆綁的東西或是自定義SQL代碼。如果業(yè)務(wù)用戶需要來自多個應(yīng)用程序的數(shù)據(jù)做報告,他們會依賴構(gòu)建在操作應(yīng)用程序中的報告并使用電子表格來填補空白。
隨著數(shù)據(jù)量的持續(xù)增長,對于數(shù)據(jù)集成和將這些數(shù)據(jù)轉(zhuǎn)換成相關(guān)信息來生成可行見解的需求也水漲船高。希望該系列文章所提供的信息能夠幫助你在購買數(shù)據(jù)集成工具的時候做出更為明智的選擇。