本篇總結(jié)一下自己對(duì)大數(shù)據(jù)算法認(rèn)知的過(guò)程。正文包含兩部分：自己對(duì)算法的認(rèn)知過(guò)程和對(duì)大數(shù)據(jù)算法的理解。

寫(xiě)這篇博客的原因有很多，總的來(lái)講有下面幾點(diǎn)：

自己在算法的路上一直懵懵懂懂，現(xiàn)在剛剛有了一點(diǎn)點(diǎn)頭緒，趕快做個(gè)記錄。

梳理清楚自己的思路，后續(xù)會(huì)有一個(gè)算法學(xué)習(xí)的一到兩年的計(jì)劃，這算是個(gè)引子。

談起算法大家都只會(huì)想到經(jīng)典算法和機(jī)器算法，除此之外還有很多有意思的算法，特別是為了解決大數(shù)據(jù)量問(wèn)題的算法，這些很容易被忽略掉，但是我認(rèn)為這才算是大數(shù)據(jù)算法。

　　0x01 認(rèn)知過(guò)程

1. 算法沒(méi)什么用

剛?cè)肟拥臅r(shí)候，一直以為大數(shù)據(jù)工程師就是安裝一下 hadoop，寫(xiě)寫(xiě) MR 程序，運(yùn)維一下集群就夠了，雖說(shuō)算法很重要，但是工作中沒(méi)有什么感覺(jué)。

我在很長(zhǎng)一段時(shí)間也抱著一種算法只是起到在面試中起到區(qū)分度作用的知識(shí)點(diǎn)而已。(現(xiàn)在想來(lái)，其實(shí)這個(gè)觀點(diǎn)也沒(méi)什么錯(cuò)，大部分的開(kāi)發(fā)工作的確用不到自己寫(xiě)的算法。)

2. 經(jīng)典算法的魅力

做了一段時(shí)間大數(shù)據(jù)運(yùn)維后，接到了一個(gè)優(yōu)化調(diào)度系統(tǒng)的任務(wù)，就和 Gim 老司機(jī)在一起設(shè)計(jì)重構(gòu)調(diào)度系統(tǒng)的方案，在這個(gè)過(guò)程中復(fù)習(xí)了很多圖論相關(guān)的知識(shí)點(diǎn)，從此開(kāi)始對(duì)算法產(chǎn)生了極大的興趣并一發(fā)不可收拾，隨后重新學(xué)習(xí)了一遍樹(shù)相關(guān)的內(nèi)容，自己動(dòng)手實(shí)現(xiàn)了什么2-3樹(shù)、avl樹(shù)、紅黑樹(shù)這些數(shù)據(jù)結(jié)構(gòu)。

其實(shí)，感興趣的一個(gè)主要原因就是發(fā)現(xiàn)，這些東西基本構(gòu)建了我們整個(gè)的計(jì)算機(jī)體系。比如文件系統(tǒng)、數(shù)據(jù)庫(kù)的索引，學(xué)會(huì)這些總感覺(jué)以后就不會(huì)丟飯碗了。

3. 機(jī)器學(xué)習(xí)代表了一切

再接著，機(jī)器學(xué)習(xí)一下子就火了起來(lái)，世界上只剩下了兩種算法：機(jī)器學(xué)習(xí)算法和非機(jī)器學(xué)習(xí)算法。身邊的朋友和同學(xué)，凡是和數(shù)據(jù)開(kāi)發(fā)相關(guān)的，都稱(chēng)自己想轉(zhuǎn)做機(jī)器學(xué)習(xí)。筆者也不能免俗，開(kāi)始準(zhǔn)備跟著浪潮走一波。但是一沒(méi)場(chǎng)景，二是興趣不大，當(dāng)有一天我突然意識(shí)到自己在學(xué)機(jī)器學(xué)習(xí)累的時(shí)候居然想玩玩 Linux 放松心情的時(shí)候，就暫時(shí)放棄了轉(zhuǎn)向機(jī)器學(xué)習(xí)的這個(gè)想法。以后我會(huì)用到它，可能還會(huì)用的很深，但是現(xiàn)在不會(huì)全身心地轉(zhuǎn)向它。

機(jī)器學(xué)習(xí)過(guò)后，17年又迎來(lái)了深度學(xué)習(xí)的浪潮。

4. 深度學(xué)習(xí)又是一波浪潮

感觸最深的是在 17 年 5 月份，看到了一份招聘要求，招的 title 是人工智能平臺(tái)架構(gòu)師，具體的要求是除了數(shù)據(jù)平臺(tái)要求的東西外加了一些深度學(xué)習(xí)平臺(tái)的東西。

這時(shí)候就感到，當(dāng)浪潮到來(lái)的時(shí)候，你可以不轉(zhuǎn)向它，但是要包容它。所以，順便學(xué)了一波深度的東西，入了個(gè)門(mén)，大概知道我以后需要做些什么。(半年后的今天基本已經(jīng)忘完了)

5. 還有很多有趣的算法

隨著工作的深入，系統(tǒng)在性能上遇到了很多了瓶頸，我們要做一系列的調(diào)整來(lái)應(yīng)對(duì)，比如敏感信息的加密、集群文件的壓縮、負(fù)載均衡策略的選擇，這時(shí)候就不得不深入學(xué)習(xí)一下加密算法、壓縮算法、負(fù)載均衡算法的原理。

這些算法一直都在，但是仍然可以在現(xiàn)在的大數(shù)據(jù)場(chǎng)景下發(fā)揮極大的作用。

6. 分布式算法

在這之前，我對(duì)自己從事的工作一直有一點(diǎn)心虛，感覺(jué)除了寫(xiě)寫(xiě) MR，管一下集群貌似沒(méi)什么技術(shù)含量太深的東西，能拿得出手的也就是各個(gè)系統(tǒng)的架構(gòu)和對(duì)他們的熟悉程度。 后來(lái)無(wú)意間在 Mooc 發(fā)現(xiàn)了一門(mén)云計(jì)算原理的課，然后就對(duì)這一塊產(chǎn)生了極大的興趣。

隨著學(xué)習(xí)的深入，發(fā)現(xiàn)這塊的水還是相當(dāng)深的，我們稱(chēng)這些為分布式算法，它包含了這么一大堆內(nèi)容：

2PC、Gossip 這一大堆協(xié)議;DHT、Paxo、Raft 這一大堆算法、還有一些亂七八糟的原理。

這塊學(xué)的還是很皮毛，后面會(huì)有詳細(xì)的學(xué)習(xí)計(jì)劃。

7. 大數(shù)據(jù)算法到底是什么?

在工作和學(xué)習(xí)中遇到了這么多算法，再加上一段時(shí)間的思考，我會(huì)在想，大數(shù)據(jù)的算法到底是什么樣子的?

經(jīng)典算法暫且不論，壓縮和加密算法也一直都有。

那么機(jī)器學(xué)習(xí)呢?總感覺(jué)有些地方不對(duì)勁，應(yīng)該說(shuō)是機(jī)器學(xué)習(xí)是使用了大數(shù)據(jù)，但是他不是為了解決大數(shù)據(jù)的各種問(wèn)題的，真正的大數(shù)據(jù)問(wèn)題還要有大數(shù)據(jù)的算法來(lái)解決。

分布式算法也不完全算是，雖說(shuō)大數(shù)據(jù)工程師都要用到分布式系統(tǒng)，但是他們解決的問(wèn)題場(chǎng)景不太一樣的。分布式算法要解決時(shí)鐘、一致性問(wèn)題這些問(wèn)題。大數(shù)據(jù)場(chǎng)景的算法不太一樣。

然后我們要想一下大數(shù)據(jù)場(chǎng)景有什么問(wèn)題?

大數(shù)據(jù)場(chǎng)景的問(wèn)題

數(shù)據(jù)量大，這是一個(gè)最明顯的特點(diǎn)，它帶來(lái)的問(wèn)題就是處理這些數(shù)據(jù)成了很大的麻煩。Hadoop 是一個(gè)突破性的項(xiàng)目，然后在這之外我們還會(huì)有一些場(chǎng)景要解決。

集合中不同元素的個(gè)數(shù), 比如獨(dú)立訪客(Unique Visitor，簡(jiǎn)稱(chēng)UV)統(tǒng)計(jì)，換成 Sql 來(lái)寫(xiě)的話(huà)就是 count(distinct user_id)，假設(shè)有 1000 億的數(shù)據(jù)放在這里，需要極快地算出來(lái)，可以允許一點(diǎn)點(diǎn)不精確，我們?cè)撛趺醋?

也就是，我們?cè)诤芏鄨?chǎng)景下，會(huì)在允許一定犧牲一定的準(zhǔn)確度地情況下來(lái)快速地算出結(jié)果。這一些算法有極大的應(yīng)用場(chǎng)景。比如 Redis 會(huì)用到 Hyperloglog 來(lái)做基數(shù)統(tǒng)計(jì)。

這樣的一批算法，我認(rèn)為算是大數(shù)據(jù)算法中的一部分，內(nèi)容比較多，有專(zhuān)門(mén)的博客展開(kāi)來(lái)專(zhuān)門(mén)講，比如 Bitmap、Roaring Bitmap、Hyperloglog等。

0x02 算法技能一覽

在這里做一個(gè)小總結(jié)，畫(huà)一下我認(rèn)為大數(shù)據(jù)工程師需要掌握、熟悉和了解的算法。很多其實(shí)在工作中都會(huì)經(jīng)常遇到。

學(xué)習(xí)優(yōu)先級(jí)?

關(guān)于這些算法學(xué)習(xí)的優(yōu)先級(jí)該怎么判定?這個(gè)就不裝x了，居士自己其實(shí)也會(huì)有不少迷茫，沒(méi)辦法說(shuō)哪個(gè)更重要，不過(guò)如果真是要學(xué)的話(huà)可以大致有一些參考。

基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)和算法沒(méi)什么好說(shuō)的，屬于基本功，理應(yīng)具備。

其它算法里面的加密、壓縮、調(diào)度這些算法，如果不是需要深入搞得話(huà)，不必急著深入學(xué)，用到了就了解一些。

分布式算法和大數(shù)據(jù)算法建議偏工程的童鞋盡早學(xué)一下，工作中寫(xiě)程序用不到也無(wú)所謂，早學(xué)沒(méi)壞處。很多大數(shù)據(jù)組件的核心位置都有這些算法的身影。

數(shù)據(jù)挖掘相關(guān)算法，對(duì)于數(shù)據(jù)挖掘的童鞋來(lái)講肯定是必學(xué)的，對(duì)于數(shù)據(jù)開(kāi)發(fā)轉(zhuǎn)到數(shù)據(jù)挖掘的童鞋來(lái)講，如果有了比較明確的轉(zhuǎn)行計(jì)劃，就開(kāi)始深入地學(xué)，如果是觀望狀態(tài)，可以先搞一些和工作相關(guān)度比較高的算法玩一玩，有項(xiàng)目機(jī)會(huì)也能快速上手。

0XFF 總結(jié)

有時(shí)候感覺(jué)自己寫(xiě)程序可能永遠(yuǎn)也不需要寫(xiě)什么算法，但是不得不承認(rèn)，算法的思維能讓自己受益無(wú)窮。