你知道嗎?互聯(lián)網(wǎng)中有將近40%的流量由爬蟲所占據(jù)，而其中的惡意爬蟲對企業(yè)網(wǎng)站或相關(guān)應(yīng)用服務(wù)帶了大量的危害!Akamai和Ponemon Institute的聯(lián)合研究顯示，由爬蟲引起的“撞庫”攻擊每年會(huì)給企業(yè)帶來高達(dá)270萬美元的損失。

“惡意爬蟲是一種自動(dòng)化的惡意軟件，通過互聯(lián)網(wǎng)遠(yuǎn)程自動(dòng)化的方式對目標(biāo)站點(diǎn)進(jìn)行攻擊，以達(dá)到商業(yè)欺詐的目的。爬蟲攻擊的方法主要分為憑證濫用和賬戶接管兩種方式。”Akamai大中華區(qū)產(chǎn)品市場經(jīng)理劉炅解釋道，“憑證濫用類攻擊就是通常所說的撞庫攻擊。攻擊者通過從黑市上獲取的大量用戶數(shù)據(jù)和賬戶信息在不同的網(wǎng)站進(jìn)行登錄嘗試，從而得到有效賬戶，最終把這些賬戶非法販賣給其他人。這給終端用戶和網(wǎng)站經(jīng)營者都帶來了很大風(fēng)險(xiǎn)。”

Akamai大中華區(qū)產(chǎn)品市場經(jīng)理劉炅

劉炅進(jìn)一步指出：“賬戶接管類攻擊通常稱之為賬戶盜用，主要指對包括電商、游戲賬戶在內(nèi)的互聯(lián)網(wǎng)賬戶的盜取。這種攻擊通常也是通過登陸嘗試或蠻力手段得到賬戶，在接管賬戶后進(jìn)行信息竊取或進(jìn)一步攻擊。除了以上兩種主要攻擊形式，基于爬蟲的攻擊還包括庫存囤積、薅羊毛、市場欺詐。“

Akamai于今年第一季度發(fā)布的《2020年互聯(lián)網(wǎng)安全狀況報(bào)告：金融服務(wù)——惡意接管嘗試》發(fā)現(xiàn)，當(dāng)前基于爬蟲的攻擊次數(shù)居高不下，在報(bào)告統(tǒng)計(jì)的約兩年時(shí)間內(nèi)，Akamai共發(fā)現(xiàn)了超過850億次攻擊，日均攻擊量達(dá)到1.2億次之多。其次，攻擊手段越發(fā)復(fù)雜，攻擊者不僅會(huì)通過多合一的工具、利用僵尸網(wǎng)絡(luò)發(fā)起分布式攻擊，還會(huì)利用API的自動(dòng)化特性、采用API作為主要攻擊手段。第三，金融業(yè)已成為攻擊重災(zāi)區(qū)。根據(jù)Akamai的數(shù)據(jù)，在針對金融服務(wù)業(yè)發(fā)起的撞庫攻擊中，高達(dá)75%的攻擊直接以API為目標(biāo)。

從攻擊檢測到攻擊響應(yīng) 全面降低安全風(fēng)險(xiǎn)

為了更好應(yīng)對爬蟲攻擊給企業(yè)帶來的安全挑戰(zhàn)，今年3月，Akamai對其爬蟲管理解決方案進(jìn)行了全面升級，大幅提升“攻防水平”。首先，Akamai新升級的BotManager(爬蟲管理器)可以通過POW(Proof of Work)挑戰(zhàn)檢測方法進(jìn)行更精準(zhǔn)的爬蟲檢測。該方法主要在防護(hù)設(shè)備或防護(hù)端對爬蟲流量請求端發(fā)出挑戰(zhàn)，通過檢測請求端對挑戰(zhàn)的回應(yīng)，判別‘幕后操作手’是爬蟲還是真是人類。此外，Akamai在該檢測方法中增加了加密算法，迫使惡意爬蟲的計(jì)算量增加，達(dá)到消耗內(nèi)存或CPU的目的。

其次，基于人工智能的評分機(jī)制。通過平臺(tái)的云端數(shù)據(jù)和威脅情報(bào)，Akamai可以對爬蟲威脅進(jìn)行自動(dòng)評分，并根據(jù)評分進(jìn)行更細(xì)粒度的防護(hù)。

第三，增加更多場景支持，尤其對于跨域場景的支持。由于很多應(yīng)用的客戶端會(huì)發(fā)起跨域的請求，為了使跨域請求的檢測更加精準(zhǔn)，Akamai定義了新的攻擊檢測方式，從而擴(kuò)展更多的應(yīng)用防護(hù)場景。

最后，與mPulse產(chǎn)品相集成。mPulse是Akamai的真實(shí)用戶監(jiān)測產(chǎn)品，能夠檢測出用戶訪問網(wǎng)站快慢的原因。通過結(jié)合mPulse，Akamai的爬蟲管理解決方案可以可視化地展現(xiàn)出爬蟲對網(wǎng)站性能產(chǎn)生的影響。

有效管理爬蟲 提升用戶體驗(yàn)

基于Akamai智能邊緣平臺(tái)的威脅情報(bào)及數(shù)據(jù)分析，Akamai的爬蟲管理解決方案BotManager可以甄別爬蟲的行為和指紋特征，在很多行業(yè)得到了良好的收效。

Akamai中國區(qū)企業(yè)事業(yè)部總經(jīng)理何銘

在線上游戲行業(yè)，玩家的賬號(hào)經(jīng)常被惡意盜用或復(fù)制。這不僅導(dǎo)致游戲服務(wù)提供商頻繁收到玩家抱怨與投訴，甚至?xí)a(chǎn)生經(jīng)濟(jì)損失。Akamai大中華區(qū)產(chǎn)品市場經(jīng)理劉炅表示：“游戲廠商在采用了Bot Manager后，惡意爬蟲的攻擊量大幅減少，游戲業(yè)務(wù)在正常運(yùn)營的同時(shí)，用戶體驗(yàn)也得到明顯提升。”
 

電商同樣經(jīng)常遭到惡意爬蟲的攻擊。每當(dāng)大促節(jié)點(diǎn)，Akamai觀察到，全球范圍內(nèi)每日的惡意爬蟲攻擊約32億次，其中3800萬次是“撞庫攻擊”，如果有1%的“撞庫攻擊”成功，每天將有38萬賬戶被入侵盜用，對電商來說風(fēng)險(xiǎn)巨大。何銘指出：“除了防止黑客攻擊，在促銷返券等客戶優(yōu)惠活動(dòng)期間，電商還要在防止競爭對手爬取自身網(wǎng)站信息的同時(shí)，將優(yōu)惠福利給到真正用戶手中。Akamai的Bot Manager能為企業(yè)提供一種靈活的框架，更好地管理每天訪問其網(wǎng)站的大量爬蟲程序。它能夠識(shí)別首次進(jìn)入的爬蟲程序，區(qū)分不同的爬蟲程序類型，并且針對每種爬蟲類型采用最合適的管理策略。因此，企業(yè)能夠更好地控制與不同類型的爬蟲程序進(jìn)行交互的方式，實(shí)現(xiàn)業(yè)務(wù)利益最大化，同時(shí)盡量降低對業(yè)務(wù)或IT的負(fù)面影響。舉例而言，某家電商在部署B(yǎng)ot Manager之前，其惡意爬蟲的發(fā)現(xiàn)率在10%，而部署之后可以有效攔截99%的爬蟲攻擊流量。”

如今的企業(yè)在提供在線業(yè)務(wù)時(shí)，與客戶和終端用戶的聯(lián)系已達(dá)到空前水平，而這其中就包括通常使用名為“爬蟲程序”的自動(dòng)化工具進(jìn)行的訪問。對于許多企業(yè) 而言，爬蟲程序占到了他們網(wǎng)站總流量的50%或以上，其中既有執(zhí)行關(guān)鍵業(yè)務(wù)任務(wù)的好爬蟲，也有進(jìn)行破壞活動(dòng)的壞爬蟲。無論對業(yè)務(wù)的影響如何，爬蟲流量都會(huì)降低網(wǎng)站為合法用戶提供服務(wù)的性能，并且增加IT成本。因此，企業(yè)需要一種靈活的框架，來更好地管理與不同類型爬蟲之間的交互方式，同時(shí)管控爬蟲對業(yè)務(wù)和IT架構(gòu)造成的影響。