Discover Financial Services在2019年發(fā)現(xiàn)自己正處于這個(gè)十字路口，當(dāng)時(shí)它的開發(fā)人員和數(shù)據(jù)工程師正在處理復(fù)雜的手動(dòng)流程，這些流程吞噬了時(shí)間，阻礙了公司的敏捷性。為了充分利用機(jī)器學(xué)習(xí)和實(shí)時(shí)數(shù)據(jù)洞察，Discover需要轉(zhuǎn)變其獲取、豐富和使用數(shù)據(jù)的方式。它的答案就是Cloud Data Fabric?這是一個(gè)自主開發(fā)的平臺(tái)，它可以將各種服務(wù)編織在一起，以提供元數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)化、實(shí)時(shí)攝取/加載以及云中的內(nèi)置治理。

 

“我們召集了最優(yōu)秀的技術(shù)領(lǐng)導(dǎo)者來思考這個(gè)問題，制定了一些最初必須具備的條件，并就如何實(shí)現(xiàn)目標(biāo)提出了架構(gòu)構(gòu)想，”Discover Financial Services的執(zhí)行副總裁兼首席信息官Amir Arooni表示。“我們會(huì)帶著這些想法，去各種工程產(chǎn)品小組或領(lǐng)導(dǎo)那里，尋求反饋，并在此過程中進(jìn)行調(diào)整。”

 

在那之前，Discover構(gòu)建數(shù)據(jù)管道的過程涉及到了應(yīng)用程序開發(fā)人員和工程師之間的長(zhǎng)時(shí)間對(duì)話，以決定需要將哪些數(shù)據(jù)發(fā)送給分析部門。然后，開發(fā)人員將手動(dòng)編寫腳本，從操作數(shù)據(jù)庫中提取數(shù)據(jù)，并安排這些腳本將原始數(shù)據(jù)發(fā)送到分析環(huán)境的著陸區(qū)。然后，數(shù)據(jù)工程師將構(gòu)建專門的數(shù)據(jù)應(yīng)用程序來接受原始數(shù)據(jù)文件，以執(zhí)行各種操作，例如驗(yàn)證模式。數(shù)據(jù)工程師還必須獲取數(shù)據(jù)的敏感度信息，以便他們可以編寫邏輯來標(biāo)記正確的字段。

 

最終，這意味著數(shù)據(jù)工程師需花費(fèi)數(shù)小時(shí)來手動(dòng)編寫邏輯代碼，并弄清楚需要將分析數(shù)據(jù)發(fā)送到何處以及存儲(chǔ)數(shù)據(jù)的正確格式。

 

Arooni和他的團(tuán)隊(duì)與Discover的安全和文件傳輸團(tuán)隊(duì)、云基礎(chǔ)設(shè)施團(tuán)隊(duì)、數(shù)據(jù)庫管理員和數(shù)據(jù)治理團(tuán)隊(duì)以及數(shù)據(jù)工程師和科學(xué)家聚集在一起，共同討論了糾正這種情況的想法。由此產(chǎn)生的Cloud Data Fabric(Discover Financial Services最近因此獲得了CIO 100的IT卓越獎(jiǎng))將來自Discover運(yùn)營(yíng)應(yīng)用程序數(shù)據(jù)庫的數(shù)據(jù)流、捕獲元數(shù)據(jù)、標(biāo)記敏感數(shù)據(jù)字段和跟蹤數(shù)據(jù)集譜系的服務(wù)結(jié)合在了一起。

 

“Fabric中的產(chǎn)品將努力通過元數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)化和無摩擦的用戶體驗(yàn)來提高數(shù)據(jù)工程的效率，”Arooni說。“例如，我們的Fabric所包含的產(chǎn)品能夠以更快的速度處理我們對(duì)數(shù)據(jù)的接收，只需按幾個(gè)按鈕就可以將數(shù)據(jù)實(shí)時(shí)的定向到多個(gè)目的地。”

 

 

該項(xiàng)目也并非沒有挑戰(zhàn)，其中最大的挑戰(zhàn)是確保所有級(jí)別的人都在目標(biāo)和愿景上保持一致，Arooni說。

 

“從我們的工程師到一線管理層，再到高層領(lǐng)導(dǎo)，我們進(jìn)行了多輪溝通，讓每個(gè)人都保持了一致……并一直如此，”他表示。“我們是一個(gè)大組織，有很多的想法、意見和不同程度的理解。在執(zhí)行過程中，你必須尊重你在傾聽、目標(biāo)設(shè)定和問題解決過程中所遇到的所有這些方面。”

 

為了實(shí)現(xiàn)這一目標(biāo)，Discover引入了一個(gè)名為“跑道”的新計(jì)劃，該計(jì)劃由五個(gè)工作流組成：工程人員、極度自動(dòng)化、敏捷實(shí)踐、可靠性和技術(shù)組織以及紀(jì)律和員工體驗(yàn)。該跑道計(jì)劃匯集了規(guī)模較小、自我授權(quán)的工程團(tuán)隊(duì)，他們將專注于開發(fā)單一的敏捷方法和自動(dòng)化手動(dòng)功能，并強(qiáng)調(diào)簡(jiǎn)化。

 

組建一個(gè)能夠?qū)嵤╉?xiàng)目所用技術(shù)的自主團(tuán)隊(duì)也需要一些時(shí)間，Arooni說。它需要與各種技術(shù)的所有者溝通并建立信任，團(tuán)隊(duì)必須與文件傳輸開發(fā)人員、數(shù)據(jù)庫管理員、數(shù)據(jù)管理專家、安全專家和各種全棧開發(fā)人員團(tuán)隊(duì)進(jìn)行跨職能的合作。架構(gòu)師、產(chǎn)品經(jīng)理、Scrum大師和管理團(tuán)隊(duì)也需要一起協(xié)調(diào)他們的工作。許多工程師將不得不第一次學(xué)習(xí)如何在云軟件上進(jìn)行開發(fā)。

 

“作為創(chuàng)建更多自主團(tuán)隊(duì)努力的一部分，我們將技能組合混合到了產(chǎn)品團(tuán)隊(duì)當(dāng)中，”Arooni說。“這意味著每個(gè)人都可以參與到以前由于人為所有權(quán)壁壘而沒有機(jī)會(huì)參與的技術(shù)當(dāng)中。”

 

事后看來，Arooni表示，他會(huì)在一開始就加大對(duì)更多自主團(tuán)隊(duì)的推動(dòng)力度，以更快地提高效率和士氣。他說，團(tuán)隊(duì)也會(huì)以稍微不同的方式來組織其架構(gòu)設(shè)計(jì)模型。

 

“我們現(xiàn)在正在為新產(chǎn)品的開發(fā)去做這兩件事，”他說。

 

Arooni說，Cloud Data Fabric對(duì)Discover的影響是無價(jià)的。該項(xiàng)目減少了其數(shù)據(jù)管道的工程開發(fā)和支持時(shí)間，其數(shù)據(jù)科學(xué)家、AI/ML工程師和建模人員也可以以更快的速度獲得更有意義的數(shù)據(jù)。該項(xiàng)目在追溯性數(shù)據(jù)方面節(jié)省了數(shù)百萬的美元。

 

“這項(xiàng)創(chuàng)新計(jì)劃所節(jié)省的時(shí)間、容量和資金對(duì)Discover來說是一個(gè)巨大的勝利，”Arooni說。

 

他還指出，Discover的工程師已經(jīng)為Cloud Data Fabric的整個(gè)開發(fā)和部署過程中的進(jìn)一步增強(qiáng)提出了“大量想法”。

 

對(duì)于他的同行，Arooni則表示：“應(yīng)該盡可能的自動(dòng)化;用戶體驗(yàn)也至關(guān)重要;而且需要通過授權(quán)來關(guān)愛你的工程師。”

 

版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。