網絡爬蟲（也被叫做網頁蜘蛛、網絡機器人）是一種能夠“自動化瀏覽網絡”的程序，它們被廣泛用于互聯網搜索引擎或其他類似網站，以獲取或更新這些網站的內容和檢索方式。它們可以自動采集所有其能夠訪問到的頁面內容，以供搜索引擎做進一步處理（分檢整理下載的頁面），而使得用戶能更快的檢索到他們需要的信息。

　　企業Web流量中有高達60%可能是由網絡爬蟲產生的

現在，國際CDN企業Akamai發現，在企業Web流量中有高達60%可能是由網絡爬蟲產生的，而這些爬蟲則是由用戶或其他程序控制，并可能模擬人類的Web訪問行為。幾乎所有在線業務都可能受到各種類型的爬蟲流量的影響。這可能包括抓取內容或價格信息的爬蟲、用欺騙手段增加廣告收入的自動“點擊”爬蟲、購買限量供應商品及服務而使合法客戶無法正常購買的“交易”爬蟲等。

為了阻止上述情況，企業往往會采取爬蟲檢測或防御解決方案來實現Web流量的自動發現及攔截，防止網絡爬蟲流量影響到企業網站的正常訪問與響應，進而對業務和IT產生一定的負面影響。

當然，有時爬蟲活動也可能會對企業業務產生有益的影響，但對站點性能的影響則不然。因此，企業機構需要一種新的方式，這種方式不僅要能夠識別所遇到的爬蟲活動類型，而且要能夠提供多種超越簡單攔截的、妥善應對不同類型爬蟲流量的最有效的技術。

對此，爬蟲管理器技術方案就顯得相當重要了，Akamai云安全解決方案高級副總裁兼總經理Stuart Scholly表示，面對Web上充斥著爬蟲，目前企業普遍面臨兩個選擇，要么攔截要么默默忍受。但是很遺憾，這兩種選擇都不理想。而Bot Manager（爬蟲管理器）將改變這種局面，該方案將給予企業客戶能力和靈活性，使其可以根據業務目標，部署成功的爬蟲管理策略。

　　企業如何應對網絡爬蟲流量變得相當重要

與僅能實現Web流量自動發現及攔截的傳統爬蟲檢測或防御解決方案不同，Bot Manager方案旨在為在Web上開展業務的公司提供支持，使他們在處理爬蟲時能夠采用更新、更全面的策略。通過幫助用戶更好地識別并了解哪些類型的爬蟲流量進入他們的站點，以及提供超越簡單攔截的多樣化策略，Bot Manager能夠幫助客戶采取最恰當的措施，更好地控制爬蟲流量對業務和IT產生的正面或負面影響。

從許多方面來看，當企業進行在線銷售時，爬蟲活動是一種“經營成本”，直到現在，也沒有一種好的方法來幫助企業深入了解爬蟲流量，并在此基礎上做出真正明智的決策。而在部署了Bot Manager后，來自互聯網零售商、美國汽車零部件有限公司（U.S Auto Parts Network，Inc.）的IT總監William Avellan則表示，他們已獲得了足夠的信息，使其能夠解決長久以來面對的所有爬蟲問題，包括內容竊取、價格信息爬取，甚至能夠識別托管這些爬蟲的IP傳輸運營商等等。由此可見，面對不可避免的網絡爬蟲，如何進行更為有效、更高級別的管理，對于企業業務來說，才是一條真正的“疏通之道”。