以下是現(xiàn)場速遞。(聲明：本稿件來源為現(xiàn)場速記，可能有筆誤和別字，僅供參考)
易觀 首席技術(shù)官 郭煒
主持人：尊敬的各位嘉賓，各位用戶代表，渠道代表，廠商代表，媒體朋友們，上午好! 2017 CCS云計(jì)算渠道伙伴合作高峰論壇現(xiàn)在開始!我是本次大會主持人企業(yè)網(wǎng)D1net的金頡。我謹(jǐn)代表本次會議的主辦方企業(yè)網(wǎng)D1net，對各位來賓的光臨表示熱烈的歡迎!
冬去春來，花落花開，云計(jì)算也早已從概念落地到了人間，無論是私有云，混合云，公有云，都如雨后春筍，遍地開花。而作為關(guān)注實(shí)戰(zhàn)的企業(yè)網(wǎng)D1net，我們最關(guān)心的還是實(shí)戰(zhàn)案例，今天的大會，我們安排了多場干貨分享，請大家共享盛宴。
由于易觀的發(fā)言人郭煒總中午臨時要出差，所以把他的發(fā)言調(diào)到第一場，郭煒最的發(fā)言與云和大數(shù)據(jù)相關(guān)，云和大數(shù)據(jù)說得很多了。大數(shù)據(jù)上云的案例見過嗎?上云后又想從云上遷移出來的案例呢?這中間的坑和注意事項(xiàng)你造嗎?接下來是一個干貨滿滿的案例分享。由易觀首席技術(shù)官郭煒為我們帶來：PB級大數(shù)據(jù)集群云化與遷移，掌聲歡迎!
郭煒：大家早上好!先替老范歡迎一下在座的各位，因?yàn)槲覔屃死戏兜拈_場發(fā)言，感謝大家今天到我們這個云計(jì)算渠道合作伙伴峰會。今天我其實(shí)會給大家講講云遷移的事情。開場之前，我想問一個問題，大家都在說大數(shù)據(jù)好，究竟大數(shù)據(jù)能做什么，如果你是一個企業(yè)的管理者，你會第一件事情拿什么東西去證明一個大數(shù)據(jù)?
我這兒正好有兩個圖。左邊是一個實(shí)時計(jì)算分析的展示大屏幕，它能做到任何目前無論是APP，還是一個網(wǎng)站，能夠五秒鐘把你的上百億條的數(shù)據(jù)馬上計(jì)算出來，這個數(shù)字會實(shí)時變化。這是看上去一個非?？岬募夹g(shù)的展示。右邊這個是一個我們叫做在企業(yè)里邊常見的一個數(shù)據(jù)分析的界面，它是做什么的?是做漏斗轉(zhuǎn)化，所謂漏斗轉(zhuǎn)化就是大家經(jīng)常知道做互聯(lián)網(wǎng)的會知道，有人要從渠道過來，會花一些推廣，會瀏覽你的網(wǎng)頁，可能會看商品，看完商品會下訂單，下完訂單可能去做結(jié)算，會告訴你每一步中間的轉(zhuǎn)化率和流失率有多大。這其實(shí)是兩個不同的界面，這個如果你是一個企業(yè)大數(shù)據(jù)的負(fù)責(zé)人，或者一個企業(yè)的CIO，或者CTO，同樣的兩個方案放在你面前，在座的各位會選哪個?選左邊的這個大家舉手?誰會選企業(yè)自己內(nèi)部數(shù)據(jù)分析的?沒有。選右邊這個呢?有一些。
今天我說云遷移之前，先給大家說一個概念，就是以“精益創(chuàng)業(yè)”的理念修建大數(shù)據(jù)平臺。什么意思呢?把我剛才的自我介紹跳過去了，我其實(shí)是易觀的CTO，我以前在IBM做過，去中經(jīng)做了一段副總監(jiān)，然后去萬達(dá)做大數(shù)據(jù)平臺的總經(jīng)理，然后去聯(lián)想做大數(shù)據(jù)平臺的總監(jiān)，現(xiàn)在在易觀負(fù)責(zé)它的整個技術(shù)和產(chǎn)品，是去年的月份加入的。
剛才說的“精益創(chuàng)業(yè)”這個理念，大家都在說做大數(shù)據(jù)好，其實(shí)大部分企業(yè)都在喊一個口號，說我們要建設(shè)大數(shù)據(jù)平臺，或者要建設(shè)大數(shù)據(jù)平臺項(xiàng)目。其實(shí)從我的觀點(diǎn)來看，《精益創(chuàng)業(yè)》這本書我非常推薦在座的各位無論做哪行哪也都應(yīng)該看一下，里面有一個MVP，說叫最小的可行化產(chǎn)品。這個意思是說，如果建一個大數(shù)據(jù)平臺的時候，你應(yīng)該是有一個業(yè)務(wù)閉環(huán)在里面，而不是只是一個展示，或者是一個數(shù)據(jù)上的一個平臺的建設(shè)。所以，這個意思是說，如果你要建一個大數(shù)據(jù)平臺，一定要端到端的解決一個業(yè)務(wù)問題。所以，如果從這個理念來看，大家再看這兩個圖片是怎么來做的。
第二個是說，你要和你最終的客戶業(yè)務(wù)保持同步。其實(shí)經(jīng)常也能聽見一些話，我們先建平臺，有了平臺再建業(yè)務(wù)，大數(shù)據(jù)平臺都是這么建的，其實(shí)不是，是先有業(yè)務(wù)，再有平臺，這也是“精益創(chuàng)業(yè)”的理念。
第三，業(yè)務(wù)閉環(huán)，一定要端到端的解決一個問題，否則將來你真的讓業(yè)務(wù)用起來，推廣大數(shù)據(jù)的時候發(fā)現(xiàn)這個事情會非常難，可能最高層看到一些報(bào)表，其實(shí)大數(shù)據(jù)的魅力在于真的能夠驅(qū)動你的業(yè)務(wù)的閉環(huán)和業(yè)務(wù)的優(yōu)化。
第四，增速、轉(zhuǎn)型、創(chuàng)新，它其實(shí)不是一個技術(shù)的事情，而是業(yè)務(wù)的一個閉環(huán)，結(jié)合這四個理念，再回頭看這兩個比較炫的屏幕，大家會發(fā)現(xiàn)做真的業(yè)務(wù)轉(zhuǎn)化的數(shù)據(jù)分析要比我們要建一個真正看上去非常炫的Dashboard好的多，能得到相關(guān)的業(yè)務(wù)的數(shù)據(jù)魅力和數(shù)據(jù)分析。所以，我講的“精益創(chuàng)業(yè)”貫穿在我所有的演講和發(fā)言當(dāng)中，今天云的遷移當(dāng)中，其實(shí)也可以看到，是這樣一個基本的理念，就是MVP的產(chǎn)品，從它逐步的迭代，實(shí)現(xiàn)云遷移，大數(shù)據(jù)建設(shè)到最后。
先說說PB級的大數(shù)據(jù)云化遷移的一些難點(diǎn)。首先，這是我剛?cè)サ臅r候遇到的現(xiàn)狀，每天處理量大概10T，歷史數(shù)據(jù)基本是PB級別，現(xiàn)在采集接口大概幾十萬的這樣一個并發(fā)的整合，如果大家知道QBS達(dá)到幾十萬是非常大的一個量，非常高，還有一些數(shù)據(jù)流的實(shí)時計(jì)算。我們在架構(gòu)上面是要大概率，過去是一個純云化的東西，我們后來把它遷成了混合云，它的數(shù)據(jù)模型也會發(fā)生變化，數(shù)據(jù)本身存儲的方式也發(fā)生變化。而且從我們的業(yè)務(wù)部門和我們的整個公司來講，要求無縫切換，要求兩個東西要并行，這兩個東西每天10T的數(shù)據(jù)，PB級，還要并存，這個非常難。
怎么干呢?先說說早期的我剛?cè)サ臅r候大數(shù)據(jù)平臺的架構(gòu)。其實(shí)我是一個堅(jiān)持推廣云化的技術(shù)決策人，我在幾年前就說大數(shù)據(jù)云化，但是為什么在這個時候我說公有云不能讓這樣一個大數(shù)據(jù)規(guī)模的集群，大家看到有一些技術(shù)細(xì)節(jié)，它有MQ，然后放在HDFS上面，這是每一個公有云上面的流程，但是當(dāng)數(shù)據(jù)量級在PB量級的時候目前咱們國內(nèi)的公有云的支持力度還是有限的，比如數(shù)據(jù)量QBS是幾十萬次，會把我這個東西直接當(dāng)成DDoS做一些清洗，這是第一個問題。第二個問題，因?yàn)楣性拼蠹抑朗菫榱朔窒?，而不是去?dú)占，對這個大數(shù)據(jù)處理的時候會發(fā)現(xiàn)它的IO和CPU已經(jīng)幾乎會獨(dú)占某一臺物理機(jī)了，所以我們物理隔離其實(shí)做的并不是特別好，就是同樣一個數(shù)據(jù)量發(fā)生變化，我的腳本沒有發(fā)生變化。有一天可能頭一天數(shù)據(jù)量級在4個小時，第二天可能同樣的腳本要運(yùn)作8個小時，這樣對我來講，我無法承諾我的用戶能看到的一些數(shù)據(jù)分析的指標(biāo)的時間。大家很難想象說，今天有的時候早上9點(diǎn)鐘我就能把這個東西跑出來，有時候12點(diǎn)。所以，在這個量級的時候我們發(fā)現(xiàn)在公有云沒有辦法支撐我現(xiàn)有的這樣一個數(shù)據(jù)量級計(jì)算的時候我們會選擇混合云。
這個時候大家說為什么不自己自建IDC，為什么不自己做存儲，為什么選混合云?其實(shí)這里面和各位企業(yè)決策者一樣，會有一個為什么上云的問題，究竟什么時候上云，為什么要去上，上什么樣的云?從我個人理解來講，云化其實(shí)是一個大的趨勢，但是你的業(yè)務(wù)不是一步就全部上云了，基本上你是看到自己的業(yè)務(wù)的發(fā)展，如果你的業(yè)務(wù)發(fā)展是一個新的業(yè)務(wù)，可能會出現(xiàn)指數(shù)級增長的時候，那么你一定是要云化的。
為什么這么講?是因?yàn)楹芏嗟倪@些企業(yè)，現(xiàn)在有傳統(tǒng)企業(yè)，有互聯(lián)網(wǎng)企業(yè)，會發(fā)現(xiàn)自己的業(yè)務(wù)如果真的增長的時候它是爆發(fā)性的。比如說，現(xiàn)在我以這個例子來講，去年我們的日貨在百萬量級，今年此時此刻已經(jīng)接近四千萬，月活過去可能不到一個億，現(xiàn)在月活已經(jīng)到4.4億，會發(fā)現(xiàn)每天它的數(shù)據(jù)量，如果有新的合作伙伴的渠道接入，可能日活就會翻番。所以，去年我一年經(jīng)歷了整個它的數(shù)據(jù)從1倍到10倍的增長。如果沒有這樣一個好的云化的平臺，我很難去完成這樣一個彈性增長。
為什么云混合云呢?第一，接受端公用云彈性擴(kuò)展，網(wǎng)絡(luò)帶寬、接收性能、安全防控，可以幫我防住第一波安全相關(guān)的問題。第二，對于處理平臺來講，我的數(shù)據(jù)量一直在增加，每天有十幾T，幾十T的數(shù)據(jù)資源，如果是云化的，如果不是獨(dú)占性沒法滿足我很多的業(yè)務(wù)需求，后面我會講到實(shí)時計(jì)算，是耗高CPU，高內(nèi)存。技術(shù)逮逮迅速，我們這個大的屏幕版本的增加，Hadoop這些版本的提升，會用到很多新的東西，這些公有云是沒有辦法讓我滿足我的這些需求，我的速度是快于公有云。投入TCO可控，真正做實(shí)體機(jī)的大數(shù)據(jù)集群的時候，它的沒有你真正云上的投入那么大，所以我選擇混合云會選擇大數(shù)據(jù)這塊的存儲在底下線下我們的實(shí)體機(jī)集群。每天接近200億條的數(shù)據(jù)，現(xiàn)在已經(jīng)200多億條，然后大概三四千萬的用戶，600多個合作伙伴的數(shù)據(jù)源源不斷的接入是非常穩(wěn)定的。所以當(dāng)時可能也是去年1月份我第一個提的這個混合云真的把它實(shí)現(xiàn)了，然后包括公有云到私有云的帶寬打通，我當(dāng)時找了很多供應(yīng)商，找的很多都沒有實(shí)現(xiàn)，好不容易找到一家，真的打通了公有云和我們自己IDC之間的帶寬的問題。
當(dāng)然，現(xiàn)在很多公有云廠商已經(jīng)提供了，今年開始提供混合云的這些實(shí)質(zhì)的服務(wù)了，去年在我用的時候可能還沒有。
我剛才說的那個架構(gòu)，簡單的再重復(fù)一下。我們在Acloud做數(shù)據(jù)接收，在大數(shù)據(jù)集群通過了大數(shù)據(jù)的處理，然后我會在公有云的Bcloud提供我對外的服務(wù)，中間有一個比較大的問題是這個數(shù)據(jù)怎么從我的公有云上傳到IDC上，這個我會有一頁去講，是我做的一個開源的“四分衛(wèi)”的項(xiàng)目，“四分衛(wèi)”就是橄欖球的傳球手。這個是目標(biāo)混合云的架構(gòu)。
先說遷移這件事，遷移真正做起來我覺得是原始數(shù)據(jù)壓縮同步比較難，我們一開始通過互聯(lián)網(wǎng)對傳效果還好，基本上我們傳了接近200多T的一些數(shù)據(jù)，后來我發(fā)現(xiàn)有一些數(shù)據(jù)量比較大，但是傳的時候速度不夠理想的時候其實(shí)也沒有什么辦法。大家看到亞馬遜的遷移，拿卡車運(yùn)，拉了那么多機(jī)柜，我是通過硬盤拷過去的，通過物理的方法可能比通過網(wǎng)絡(luò)方法更快。
另一個在做了一些數(shù)據(jù)的驗(yàn)證，這個其實(shí)沒有什么難點(diǎn)。難點(diǎn)就是每天200億條的數(shù)據(jù)，怎么讓它并行，就是我不但要原有集群能夠接收這樣的數(shù)據(jù)，新集群也能接收這樣的數(shù)據(jù)，大家想200億條數(shù)據(jù)等于實(shí)時的拷貝出來，拷貝完以后，一方面給原有集群，另一方面給現(xiàn)有集群，這個東西其實(shí)當(dāng)時是難度很久的一段時間。包括無縫切換，因?yàn)橐交^渡，切的時候肯定不能一刀切過去，其實(shí)真正切的時候比兩邊可能更長，這個肯定是所有業(yè)務(wù)部門和所有我們的客戶是不能忍受的，我怎么無縫，怎么去做，這件事當(dāng)時我們想了很久。
其實(shí)當(dāng)時做數(shù)據(jù)遷移的時候我們想了很多方案，接收端說能不能通過nginx在里面做一些東西，為什么不行?不行的原因其實(shí)很簡單，就是它是一個轉(zhuǎn)發(fā)的服務(wù)器只負(fù)責(zé)轉(zhuǎn)發(fā)，但是如果這條線路斷掉，或者慢，這個數(shù)據(jù)可能就會在傳輸當(dāng)中發(fā)現(xiàn)丟失，丟失的時候就會發(fā)現(xiàn)這兩邊的數(shù)據(jù)將來你的新的集群和老集群里的數(shù)據(jù)會對不上，這樣遷移并行就失敗了。所以，通過nginx的方式只是做一個簡單轉(zhuǎn)發(fā)這件事情是肯定不行的，這個東西會丟包，丟包完以后是沒有辦法彌補(bǔ)的。Kafka也是，200億條數(shù)據(jù)量級的時候通過互聯(lián)網(wǎng)同步，第一，占用帶寬非常大，第二，很容易丟包，這個數(shù)據(jù)就對不上了，這樣沒有辦法做到很好的數(shù)據(jù)同步。所以，這個肯定不能通過這種方式來做。
后來我們做了“四分衛(wèi)”的開源項(xiàng)目，大家知道在云遷移，通過互聯(lián)網(wǎng)互傳的時候小包去傳是非常沒有效率的，所以我們會在“四分衛(wèi)”這個項(xiàng)目里面把它做了一個壓縮，這樣可以把一個可能每個包都是幾十的，可能有一百萬的包括，或者兩三百萬這樣的一個包壓縮成一個檔案，當(dāng)然中間也用了一些壓縮算法和一些排序把它做好以后，通過互聯(lián)網(wǎng)傳到兩個接收端，然后在那里邊再去解包，然后按照它的順序再進(jìn)入到Kafka里面，進(jìn)入Kafka，然后通過互傳同步的機(jī)制，保證不丟，丟完以后可以續(xù)傳，然后那邊是一個陣列，然后再把那邊放進(jìn)Kafka。當(dāng)然，中間有為什么斷鏈續(xù)傳，很多人問我為什么會排序，因?yàn)榻?jīng)常會斷，斷的時候要保證先進(jìn)的這些數(shù)據(jù)優(yōu)先去處理，而不是亂序排，這樣可能數(shù)據(jù)量的方式計(jì)算會有問題。所以，在這里面也用了很多的一些小的trip和踩過一些坑。做大數(shù)據(jù)云遷移的時候肯定遇到數(shù)據(jù)并行的問題，遇到這個問題可以通過開源的項(xiàng)目去看。
說完云遷移中間互傳的問題，其實(shí)還有另外一個問題存在，就是各種的大數(shù)據(jù)做完以后持續(xù)的很多的挑戰(zhàn)。
挑戰(zhàn)一，可能左邊那個圖如果做CIO和做CTO的管理者可能都會熟悉，這個圖是在那時候每年東部全部斷網(wǎng)，其實(shí)仔細(xì)想一下，現(xiàn)在如果我們做大數(shù)據(jù)的數(shù)據(jù)接收端，當(dāng)我的活躍已經(jīng)到月活4.4億的時候，當(dāng)每天有4億多臺給我傳這個數(shù)據(jù)，其實(shí)結(jié)果搞不好和它是一樣的。這樣一旦做不好，結(jié)果其實(shí)跟美國那邊是一樣的。所以，這里面當(dāng)我的數(shù)據(jù)到某一個量級的時候會由量變到質(zhì)變，這時候就會讓數(shù)據(jù)的并發(fā)，像交易系統(tǒng)一樣，就是你的并發(fā)非常高，后面會不停的再往上傳輸，這時候它的數(shù)據(jù)量像雪球一樣越滾越大，這個數(shù)據(jù)可能就完全處理不完了，真的成為DDoS了。
所以，這里有兩個觀點(diǎn)：第一，要良好的擴(kuò)展網(wǎng)絡(luò)架構(gòu)，剛才我講到混合云為什么采用混合云，不采用私有機(jī)房。第二，云+端的控制策略。云+端是什么意思?其實(shí)就是大家真的在做大數(shù)據(jù)，在做處理的時候，不是說你這個數(shù)據(jù)從底下一下就到云端這個事就完了，不是。是因?yàn)槟阈枰谀愕亩说倪@個地方，就是你在數(shù)據(jù)上傳這個端是要有策略的，當(dāng)你云端出現(xiàn)了無法處理完成的時候，你要回來說，這個東西先別傳了，4個小時以后，或者2個小時以后再傳，或者我發(fā)現(xiàn)這個設(shè)備本身是惡意的一個設(shè)備，不停的在傳一些設(shè)備，我會下一個策略說，這個設(shè)備現(xiàn)在不要傳了，進(jìn)入黑名單靜默，這樣我在啟動的時候，有心跳的時候你再傳，這些策略會在這個里面設(shè)。在云端有一些策略，比如時間間隔是5秒傳還是5個小時傳。清洗策略，就是這些數(shù)據(jù)哪些是你來的時候我接收，哪些我接收都不接受了。包括像分流，我們現(xiàn)在在傳的時候，你肯定不能單點(diǎn)傳到某一個地方，你的云端一個策略，云告訴底下端的策略到底傳到哪里去，下一步不要往里傳了，這個混合云的接收端不行了，換一個公有云再傳，這些其實(shí)都是云端的一些策略。
設(shè)備端的策略，主要是看有一些失敗的策略，更新的策略，包括?；?，就是一直有心跳，這些也是驗(yàn)證了很多合作伙伴，現(xiàn)在目前來講，我這個策略會從5秒到6個小時，而且可以屏蔽和分流一些歷史設(shè)備，這些都是大家在做云化大數(shù)據(jù)處理的時候都會遇到的一些問題。
挑戰(zhàn)二，其實(shí)這個事也是，數(shù)據(jù)都上來了，大家已經(jīng)在混合云上面使用了。經(jīng)常遇到企業(yè)的一些需求是什么?就是說，我想看到某一些特征的用戶，這些標(biāo)簽它的某一些的統(tǒng)計(jì)值是什么，這里舉了一個例子，右邊各種各樣的標(biāo)簽，做完標(biāo)簽之后，馬上說具有這些標(biāo)簽的這些用戶統(tǒng)計(jì)值是什么樣的，最難的是要求30秒給我算出來，但是其實(shí)背后是一個幾百億條的數(shù)據(jù)，然后用戶是一個十幾億的用戶，標(biāo)簽可能幾千個。如果通過標(biāo)簽+用戶+設(shè)備數(shù)一乘起來上萬億了，所以這個事是不行的。最終我們的解決方案還是兩件事，一個是解決方案中另一個除了Hadoop之外的一個開源的大的APP架構(gòu)的一個解決方案，前年年底開源的，我去年年初的時候用了它，它是在數(shù)據(jù)并行計(jì)算方面比較快的。即使用了它還是不行，所以中間我們會做一些分層抽樣，就是對你的這些人群，根據(jù)抽樣策略有一個小的模型，抽樣完了，目前能體驗(yàn)到20秒把這個東西算出來。這是其中像大數(shù)據(jù)常見的問題之一了。
問題之二，剛才說查這個數(shù)現(xiàn)在好了，現(xiàn)在也經(jīng)常有企業(yè)有另外一個場景，就是漏斗查詢，我想看這些人究竟誰瀏覽了網(wǎng)頁，瀏覽網(wǎng)頁的人有多少人瀏覽了商品，瀏覽商品的人有多少人真的下單了，下單完了之后有多少人支付了，很簡單這樣一個問題，就看一個月內(nèi)7日的轉(zhuǎn)化率是多少，但是目前來講，整個互聯(lián)網(wǎng)圈子都沒有特別好的解答，大部分人會避開這個問題，所以這個東西是非常難的。它難在是在對一個有序行為序列的轉(zhuǎn)化漏斗，因?yàn)檫^去咱們熟悉的這些SQL，包括常見的處理方式，都是針對無序的，針對有序的查詢是很麻煩的。我后來也是在這里邊寫了一個東西，先寫成一個函數(shù)，再作為一個轉(zhuǎn)化率的時候，這件事情我后來也是會把它開源掉，因?yàn)檫@一堆問題，業(yè)界大家都在問這個問題，很常見，我打算也把它開源掉，給大家一個參考，如果有做的更好的，也希望持續(xù)開源。
其實(shí)針對每個點(diǎn)的布點(diǎn)優(yōu)化，云+端，端的SDK會不停的做優(yōu)化，做每一個點(diǎn)的優(yōu)化，把整個原來的系統(tǒng)去重新構(gòu)建，重構(gòu)去變成新的一個系統(tǒng)才能滿足你將來幾個億的月活的這樣一個大數(shù)據(jù)集群的滿足。
所以，回到我這個現(xiàn)在看到我的整個的一個易觀的混合云的一個大數(shù)據(jù)這樣一個平臺，你會發(fā)現(xiàn)其實(shí)底下是各種各樣的數(shù)據(jù)采集，然后通過我們的公有云的接收端，上面有很多技術(shù)的大數(shù)據(jù)的平臺模塊，有Hadoop，那邊有一些我們自己自建的平臺，看上去很簡單，但是每一個模塊畫上去背后都有它的故事。我今天主要給大家講講剛才遷移上面遇到的一些問題，這是最后遷移完的一個結(jié)果。
浴火重生以后，現(xiàn)在我們看到混合云大數(shù)據(jù)平臺4.42億月活，累計(jì)裝機(jī)量1.8個，18.2億，現(xiàn)在3000多萬的日活，這個基本上在互聯(lián)網(wǎng)是前十，確切說是前五。這是全公有云的平臺，現(xiàn)在基本上我們的存儲達(dá)到5.8PB，這是目前整個存儲的量級。因?yàn)榇蟮募旱紫氯渴撬接谢?，所以還會不停的擴(kuò)集群，然后有公有云的這種非常健壯的接收能力，能夠讓我一直不停的擴(kuò)大初級接收端。
總結(jié)一下，其實(shí)簡單的幾件事。第一，要做基礎(chǔ)建設(shè)，混合云的建設(shè)，混合云的驗(yàn)證。第二，做歷史數(shù)據(jù)，原始數(shù)據(jù)的同步，包括MR研發(fā)與追數(shù)，數(shù)據(jù)比對與校準(zhǔn)。第三，并行驗(yàn)證，并行程序研發(fā)，并行試運(yùn)行，并行運(yùn)行，產(chǎn)品切換準(zhǔn)備，兩邊數(shù)據(jù)都有了，然后進(jìn)行無縫的切換，其實(shí)沒有感覺到產(chǎn)品是由原來的集群遷移到另外一個新的集群，從用戶端和產(chǎn)品端看不到這個事。最后，處理過程當(dāng)中有很多數(shù)據(jù)治理的問題，數(shù)據(jù)口徑的問題，元數(shù)據(jù)治理的問題，這些都是大家在大數(shù)據(jù)云遷移的時候遇到的這樣一個問題。
基本上用幾個話總結(jié)一下今天跟大家分享的。第一，分享了幾個簡單的方法論，怎么做大數(shù)據(jù)云的遷移。然后，講了一個最佳實(shí)踐。第三，賦予了一些開源的一些工具，希望今天我的分享給大家有所幫助，非常感謝各位!
京公網(wǎng)安備 11010502049343號