用戶行為類數(shù)據(jù)是最常見的大數(shù)據(jù)形式，比如電信的通話記錄、網(wǎng)站的訪問日志、應(yīng)用商店的app下載記錄、銀行的賬戶信息、機(jī)頂盒的觀看記錄、股票的交易記錄、保險(xiǎn)業(yè)的保單信息，連鎖超市會(huì)員的購物信息、交通違法信息、醫(yī)療就診記錄。
用戶行為類數(shù)據(jù)的特點(diǎn)在于用戶數(shù)量龐大，但每個(gè)用戶的行為數(shù)量較小，針對用戶行為的計(jì)算較為復(fù)雜，用戶之間的關(guān)聯(lián)計(jì)算相對較少。
用戶數(shù)量龐大。通話記錄中的電話號碼、訪問日志中的用戶編號、賬戶信息中的銀行賬戶、交易記錄中股票賬戶、保單信息中的被保險(xiǎn)人，這些都是用戶行為類數(shù)據(jù)中的用戶。用戶的數(shù)量通常都很龐大，多的可達(dá)億級或更多，少的也有百萬級。
每個(gè)用戶的行為數(shù)量較小。相對于龐大的用戶數(shù)量，每個(gè)用戶的行為通常較少。對單個(gè)電話號碼來說，平均每月的通話記錄只有數(shù)百條，每年也不超過一萬條。即使是網(wǎng)站的活躍用戶，他們每天最多也只能產(chǎn)生上百條行為記錄，每年不超過十萬條。
用戶行為的計(jì)算較為復(fù)雜。計(jì)算用戶的兩次登錄間隔天數(shù)、反復(fù)購買的商品、累積在線時(shí)間，這些都是針對用戶行為的計(jì)算，通常具有一定的復(fù)雜性。
用戶之間的關(guān)聯(lián)計(jì)算較少。用戶的行為相對獨(dú)立，一般不需要知道其他用戶即可實(shí)現(xiàn)計(jì)算。相應(yīng)的，用戶之間的關(guān)聯(lián)計(jì)算則較少，比如：某人通話記錄中接聽電話的一方的通話時(shí)長;社交網(wǎng)站上某個(gè)用戶的朋友購買了哪些商品，這些計(jì)算存在但不多。
根據(jù)用戶行為類大數(shù)據(jù)的特點(diǎn)不難看出，其最直觀最容易寫出的算法可以這樣設(shè)計(jì)：每次將某一用戶的所有數(shù)據(jù)一次性加載到內(nèi)存中來計(jì)算，而不要反復(fù)訪問硬盤讀取某個(gè)用戶的部分?jǐn)?shù)據(jù)，也不要將大量用戶的數(shù)據(jù)同時(shí)加載到內(nèi)存中。
將某一用戶的所有數(shù)據(jù)加載到內(nèi)存中來計(jì)算。這樣做是因?yàn)橛脩糁g的關(guān)聯(lián)計(jì)算少，而單個(gè)用戶行為的計(jì)算較為復(fù)雜，計(jì)算同一個(gè)用戶的數(shù)據(jù)可以讓程序員減少不相干數(shù)據(jù)的干擾。比如計(jì)算某用戶反復(fù)購買的商品。首先，將某用戶的數(shù)據(jù)按商品分組匯總出每件商品的購買次數(shù);再按次數(shù)逆序排序;過濾掉只購買了一次的商品，剩下的就是反復(fù)購買的商品及購買次數(shù)。再比如計(jì)算某用戶的累積在線時(shí)長。該用戶會(huì)訪問多次，每次都會(huì)形成一對登錄和退出，因此先要過濾出所有的登錄和退出記錄;再針對每一次訪問，用退出時(shí)刻減去登錄時(shí)刻，這就是單次時(shí)長;將多個(gè)單次時(shí)長相加，就是累積時(shí)長。
另外，因?yàn)槊總€(gè)用戶的行為數(shù)量相對較少，完全可以全部加載進(jìn)內(nèi)存進(jìn)行自由靈活的計(jì)算。
不要反復(fù)訪問硬盤讀取用戶的部分?jǐn)?shù)據(jù)。由于用戶的行為計(jì)算比較復(fù)雜，同一個(gè)用戶的各條數(shù)據(jù)之間是存在關(guān)聯(lián)關(guān)系的，讀取一個(gè)用戶的部分記錄去計(jì)算會(huì)導(dǎo)致算法難寫，而且性能很低。
不要將大量用戶的數(shù)據(jù)同時(shí)加載到內(nèi)存中。由于用戶數(shù)量龐大，顯然不可能將全部用戶的數(shù)據(jù)一次性加載到內(nèi)存中來，必須要分批讀取。分批的標(biāo)準(zhǔn)上面已經(jīng)分析出來了：按用戶分批。至于用戶之間計(jì)算結(jié)果的合并，可以留到最后一步再做，由于用戶之間關(guān)聯(lián)計(jì)算少，這個(gè)合并非常簡單。比如計(jì)算所有用戶反復(fù)購買的商品或累計(jì)在線時(shí)長，只要計(jì)算出每個(gè)用戶反復(fù)購買的商品或累計(jì)的在線時(shí)長，再將所有用戶的計(jì)算結(jié)果簡單合并就可以。另外還可以看出，由于是用戶之間的關(guān)聯(lián)少，因此此類算法很適合使用并行計(jì)算，即每個(gè)節(jié)點(diǎn)機(jī)分配一定數(shù)量的用戶，這樣既不會(huì)增加難度又能大幅提高性能。
將同一用戶的所有數(shù)據(jù)加載到內(nèi)存中來計(jì)算，這就需要事先將數(shù)據(jù)按用戶分成多個(gè)組。比如按零售店會(huì)員分組，每個(gè)組就是某個(gè)會(huì)員對應(yīng)的多條采購記錄;或按用戶編號分，每個(gè)組是某個(gè)用戶對應(yīng)的網(wǎng)頁訪問記錄。分組的實(shí)質(zhì)是排序，即將數(shù)據(jù)按用戶排序，使同一個(gè)用戶的數(shù)據(jù)挨在一起。可以想象到，對億級的用戶、每用戶萬級的數(shù)據(jù)排序?qū)⑹莻€(gè)非常緩慢的過程。事先排序可以加速分組的過程。
將數(shù)據(jù)事先按用戶排序，不同的計(jì)算目標(biāo)都使用同樣排序好的數(shù)據(jù)。將排序的時(shí)間花在前面而且只花一次，這就可以避免計(jì)算時(shí)的大排序，參數(shù)不同的同一個(gè)計(jì)算目標(biāo)也可以重復(fù)計(jì)算而不必重復(fù)排序，不同的計(jì)算目標(biāo)還可以省去相同的排序過程。
但是，不幸的是，一般的計(jì)算工具難以實(shí)現(xiàn)上述算法，無法有效利用事先排序的數(shù)據(jù)。比如SQL(含Hive)和MapRreduce。
SQL的困難。SQL的集合是無序的，事先按索引重新插入排好序的數(shù)據(jù)往往不能被優(yōu)化器正確優(yōu)化，具有很大的偶然性，無法保證查詢時(shí)可以按排好的次序查詢出需要的數(shù)據(jù)。
Hive具有SQL的語法風(fēng)格，同時(shí)也支持并行計(jì)算，但它卻并不適合用戶行為類大數(shù)據(jù)計(jì)算。這是因?yàn)橛脩粜袨榈挠?jì)算較為復(fù)雜，需要窗口函數(shù)甚至存儲過程來解決，而Hive只支持基本的SQL語法，不支持窗口函數(shù)和存儲過程。
用戶行為的計(jì)算之所以較為復(fù)雜，是因?yàn)樾枰獙ν粋€(gè)用戶的多條數(shù)據(jù)之間進(jìn)行計(jì)算，這種計(jì)算大多和順序相關(guān)。SQL對有序計(jì)算的支持有限，只有窗口函數(shù)可以實(shí)現(xiàn)部分簡單的有序計(jì)算，但對于復(fù)雜的業(yè)務(wù)邏輯仍然顯得非常繁瑣，而且經(jīng)常因?yàn)榇笈判蛟斐傻拖碌男阅堋Ｊ褂贸绦蛐缘拇鎯^程編寫復(fù)雜代碼可以實(shí)現(xiàn)復(fù)雜的有序計(jì)算，但很難復(fù)用SQL的集合運(yùn)算能力，所有處理都有從基礎(chǔ)運(yùn)算自己編寫，而且其性能通常比SQL更低。
MapReduce的困難。MapReduce支持大數(shù)據(jù)并行計(jì)算，同時(shí)它是用程序性的JAVA語言來編寫的，這一點(diǎn)和存儲過程有相似性。但是，MapReduce所使用的 JAVA語言缺乏針對結(jié)構(gòu)數(shù)據(jù)計(jì)算的類庫，所有的底層功能都要自己實(shí)現(xiàn)：分組、排序、查詢、關(guān)聯(lián)等等，對于有序計(jì)算這較復(fù)雜的算法所要書寫的代碼更多、編寫難度更大、維護(hù)更加困難。同樣的，MapReduce也無法利用已經(jīng)排序好的數(shù)據(jù)，在shuffle階段還需要得做大排序。
SQL和MapReduce無法利用事先排序好的數(shù)據(jù)，難以高性能地將同一用戶的所有數(shù)據(jù)加載到內(nèi)存中來計(jì)算，用戶類大數(shù)據(jù)計(jì)算因此會(huì)遇到性能、擴(kuò)展性和開發(fā)難度的挑戰(zhàn)。
如何利用事先排序好的數(shù)據(jù)，以此簡化代碼書寫難度并提高計(jì)算性能?
集算器是支持多節(jié)點(diǎn)并行計(jì)算的程序設(shè)計(jì)語言，并提供豐富的有序計(jì)算。如果數(shù)據(jù)事先排好序，集算器支持通過游標(biāo)來按組讀取數(shù)據(jù)，每次讀取一組數(shù)據(jù)進(jìn)內(nèi)存，避免反復(fù)的外存訪問，整個(gè)數(shù)據(jù)只要遍歷一次即可，從而使性能大大提高。針對組內(nèi)計(jì)算復(fù)雜，集算器具有完備的批量化數(shù)據(jù)計(jì)算類庫，可以輕松實(shí)現(xiàn)各類復(fù)雜的有序計(jì)算。。
集算器支持靈活自由的多節(jié)點(diǎn)并行計(jì)算，可以進(jìn)一步優(yōu)化性能。方法之一將用戶按某種方式分段，以此實(shí)現(xiàn)分布存儲后的高效并行處理。比如將會(huì)員零售數(shù)據(jù)按照會(huì)員編號的前兩位分成100段存儲于HDFS，每段存儲十萬會(huì)員的一億條數(shù)據(jù)。或者將網(wǎng)站日志按照用戶ID的首字母和年份分段，每段存儲幾百萬用戶的數(shù)據(jù)。或者將通話記錄按照區(qū)號和用戶數(shù)量合并為30段，每段存儲一個(gè)州或幾個(gè)州的用戶。經(jīng)過分段處理后，每段數(shù)據(jù)都是排好序的，可被節(jié)點(diǎn)機(jī)的一個(gè)線程獨(dú)立處理，這樣的并行計(jì)算性能更高。
針對上面的難點(diǎn)，下面用”每個(gè)用戶在每種產(chǎn)品上的累積在線時(shí)間”為例來說明集算器的一般解決辦法。
大分組的困難：事先排序數(shù)據(jù)，以供多種計(jì)算目標(biāo)使用。在節(jié)點(diǎn)機(jī)運(yùn)算時(shí)可以直接按用戶分組取數(shù)，有效利用已經(jīng)有序的數(shù)據(jù)以提高性能。
組內(nèi)計(jì)算復(fù)雜：esProc具有完備的批量化數(shù)據(jù)計(jì)算類庫，可以輕松實(shí)現(xiàn)各類復(fù)雜的有序計(jì)算。
完整的代碼如下：
京公網(wǎng)安備 11010502049343號