不斷增長(zhǎng)的數(shù)據(jù)量是一個(gè)令人擔(dān)憂的問(wèn)題，因?yàn)榻邮躀DG調(diào)查的20%的企業(yè)正在從1000個(gè)或更多來(lái)源中提取數(shù)據(jù)，為他們的分析系統(tǒng)提供數(shù)據(jù)。因此，對(duì)邁出第一步猶豫不決的實(shí)體最有可能與以下挑戰(zhàn)發(fā)生爭(zhēng)執(zhí)。數(shù)據(jù)集成需要徹底改革，只有考慮到以下差距才能實(shí)現(xiàn)。下面是一個(gè)簡(jiǎn)要概述。
完全不同的數(shù)據(jù)源
來(lái)自不同來(lái)源的數(shù)據(jù)有多種格式，如Excel、JSON、CSV等，或數(shù)據(jù)庫(kù)如Oracle、MongoDB、MySQL等。例如，兩個(gè)數(shù)據(jù)源可能有相同字段的不同數(shù)據(jù)類型或同一伙伴數(shù)據(jù)的不同定義。
異類數(shù)據(jù)源產(chǎn)生不同格式和結(jié)構(gòu)的數(shù)據(jù)集?，F(xiàn)在，不同的模式使數(shù)據(jù)集成的范圍變得復(fù)雜，并且需要大量的映射來(lái)組合數(shù)據(jù)集。
數(shù)據(jù)專業(yè)人員可以手動(dòng)將一個(gè)源的數(shù)據(jù)映射到另一個(gè)源，將所有數(shù)據(jù)集轉(zhuǎn)換為一種格式，或者提取和轉(zhuǎn)換它以使組合與其他格式兼容。所有這些都使實(shí)現(xiàn)有意義的無(wú)縫集成變得具有挑戰(zhàn)性。
處理流數(shù)據(jù)
流數(shù)據(jù)是連續(xù)的、無(wú)休止的，并由記錄的事件的不間斷序列組成。傳統(tǒng)的批處理技術(shù)是為具有明確定義的開(kāi)始和結(jié)束的靜態(tài)數(shù)據(jù)集設(shè)計(jì)的，這使得處理不間斷流動(dòng)的流數(shù)據(jù)變得困難。這使同步、可伸縮性、檢測(cè)異常、提取有價(jià)值的見(jiàn)解和增強(qiáng)決策變得復(fù)雜。
為了解決這個(gè)問(wèn)題，企業(yè)需要能夠?qū)魅霐?shù)據(jù)流進(jìn)行實(shí)時(shí)分析、聚合和轉(zhuǎn)換的系統(tǒng)。企業(yè)可以通過(guò)縮小傳統(tǒng)架構(gòu)和動(dòng)態(tài)數(shù)據(jù)流之間的差距來(lái)利用持續(xù)信息流的力量。
非結(jié)構(gòu)化數(shù)據(jù)格式問(wèn)題
不斷增加的數(shù)據(jù)量變得更加具有挑戰(zhàn)性，因?yàn)樗鼡碛写罅康姆墙Y(jié)構(gòu)化數(shù)據(jù)。在Web2.0中，跨社交平臺(tái)的用戶生成的數(shù)據(jù)以音頻、視頻、圖像和其他形式爆炸式增長(zhǎng)。
非結(jié)構(gòu)化數(shù)據(jù)具有挑戰(zhàn)性，因?yàn)樗狈︻A(yù)定義的格式，并且沒(méi)有一致的模式或可搜索的屬性。就像存儲(chǔ)在數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)集一樣，這些數(shù)據(jù)集沒(méi)有可搜索的屬性。這使得對(duì)相關(guān)信息進(jìn)行分類、索引和提取變得復(fù)雜。
不可預(yù)測(cè)的變化數(shù)據(jù)類型通常帶有不相關(guān)的內(nèi)容和噪聲。這些都需要合成數(shù)據(jù)生成、自然語(yǔ)言處理、圖像識(shí)別和ML技術(shù)來(lái)進(jìn)行有意義的分析。復(fù)雜性并不僅限于此。很難擴(kuò)展存儲(chǔ)和處理基礎(chǔ)設(shè)施來(lái)管理業(yè)務(wù)量的急劇增加。
然而，各種先進(jìn)的工具在從混亂中提取有價(jià)值的見(jiàn)解方面令人印象深刻。例如，MonkeyLearn實(shí)現(xiàn)了用于查找模式的ML算法。K2view使用其專利的基于實(shí)體的合成數(shù)據(jù)生成方法。同樣，Cogito使用自然語(yǔ)言處理來(lái)提供有價(jià)值的見(jiàn)解。
數(shù)據(jù)集成的未來(lái)
數(shù)據(jù)集成迅速脫離了傳統(tǒng)的ETL(提取-轉(zhuǎn)換-加載)，轉(zhuǎn)向自動(dòng)化的ELT、基于云的集成以及其他實(shí)現(xiàn)ML的方法。
ELT將轉(zhuǎn)換階段轉(zhuǎn)移到管道的末尾，將原始數(shù)據(jù)集直接加載到倉(cāng)庫(kù)、湖泊或湖邊。這使系統(tǒng)能夠在轉(zhuǎn)換和更改數(shù)據(jù)之前對(duì)其進(jìn)行檢查。該方法在處理用于分析和商業(yè)智能的海量數(shù)據(jù)方面是有效的。
一款名為Skyvia的基于云的數(shù)據(jù)集成解決方案正在開(kāi)創(chuàng)這一領(lǐng)域，使更多的企業(yè)能夠合并來(lái)自多個(gè)來(lái)源的數(shù)據(jù)，并將其進(jìn)一步整合到基于云的數(shù)據(jù)倉(cāng)庫(kù)。它不僅支持實(shí)時(shí)數(shù)據(jù)處理，而且大大提高了運(yùn)行效率。
該批處理集成解決方案涵蓋舊的和新的更新，并且可以輕松擴(kuò)展以適應(yīng)大數(shù)據(jù)量。它非常適合整合倉(cāng)庫(kù)中的數(shù)據(jù)、CSV導(dǎo)出/導(dǎo)入、云到云遷移等。
由于90%的數(shù)據(jù)驅(qū)動(dòng)型企業(yè)可能傾向于基于云的整合，許多流行的數(shù)據(jù)產(chǎn)品已經(jīng)在這場(chǎng)游戲中領(lǐng)先。
此外，在未來(lái)的時(shí)間里，企業(yè)可以預(yù)期其數(shù)據(jù)集成解決方案幾乎可以處理任何類型的數(shù)據(jù)，而不會(huì)影響運(yùn)營(yíng)效率。這意味著數(shù)據(jù)解決方案應(yīng)該很快就會(huì)支持先進(jìn)的彈性處理，可以并行處理數(shù)TB的數(shù)據(jù)。
接下來(lái)，無(wú)服務(wù)器數(shù)據(jù)集成也將變得流行起來(lái)，因?yàn)閿?shù)據(jù)科學(xué)家期待著使維護(hù)云實(shí)例所需的努力化為烏有。
邁向數(shù)據(jù)驅(qū)動(dòng)的未來(lái)的墊腳石
在這篇文章中，我們討論了來(lái)自不同數(shù)據(jù)源、分割驅(qū)動(dòng)的流數(shù)據(jù)、非結(jié)構(gòu)化格式等方面的挑戰(zhàn)。企業(yè)應(yīng)該立即行動(dòng)起來(lái)，實(shí)施周密的規(guī)劃、先進(jìn)的工具和最佳實(shí)踐，以實(shí)現(xiàn)無(wú)縫集成。
與此同時(shí)，值得注意的是，如果及時(shí)解決這些挑戰(zhàn)，這些挑戰(zhàn)就是潛在的增長(zhǎng)和創(chuàng)新機(jī)會(huì)。通過(guò)正面應(yīng)對(duì)這些挑戰(zhàn)，企業(yè)不僅可以優(yōu)化利用數(shù)據(jù)饋送，還可以為其決策提供信息。
關(guān)于企業(yè)網(wǎng)D1net(hfnxjk.com)：
國(guó)內(nèi)主流的to B IT門戶，同時(shí)在運(yùn)營(yíng)國(guó)內(nèi)最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_(tái)-信眾智(www.cioall.com)。同時(shí)運(yùn)營(yíng)19個(gè)IT行業(yè)公眾號(hào)(微信搜索D1net即可關(guān)注)。
版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需在文章開(kāi)頭注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。
京公網(wǎng)安備 11010502049343號(hào)