隨著Scrapy等框架的流行，用Python等語言寫爬蟲已然成為一種時尚。但是今天，我們并不談如何寫爬蟲，而是說說不要寫代碼就能寫出來的爬蟲。

爬蟲新時代

在早期互聯網世界，寫爬蟲是一項技術含量非常高的活，往大的方向說，爬蟲技術是搜索引擎的重要組成部分。

隨著互聯網技術的發展，寫爬蟲不再是門檻非常高的技術了，一些編程語言甚至直接提供爬蟲框架，例如python的Scrapy框架，它們讓寫爬蟲走入“尋常百姓家”。

在知乎的熱門話題“能利用爬蟲技術做到哪些很酷很有趣很有用的事情？”下，很多用戶用爬蟲實現了很多有趣的事情：

有人用爬蟲爬取了12萬知乎用戶的頭像，并根據點擊數據訓練出來了一個機器人，可以自動識別美女；

有人用爬蟲爬取了上海各大房產網站的數據，分析并總結出過去幾年上海房價的深度報告；

有人用爬蟲爬取了一千多萬用戶的400億條tweet，對twitter進行數據挖掘。

寫爬蟲幾乎沒有門檻

我們已經發現，寫爬蟲是一件炫酷的事情。但即使是這樣，學習爬蟲仍然有一定的技術門檻，比如說要使用Scrapy框架，你至少得會python編程語言。

想象一個場景:你是一個房地產銷售人員，你需要聯系很多潛在客戶，這時候如果靠在搜索引擎或者在相關網頁上查看信息，就會非常地費時費力。于是就有朋友說了，學習一下怎么寫爬蟲，然后抓取銷售數據就可以了，一次學習終生受用。

這樣的說法，很難說的上是個好主意，對于房地產銷售從業者來說，學習寫爬蟲的代價實在是過于高昂了，一來沒有編程基礎，二來如果真的能寫好爬蟲，恐怕就直接轉行寫帶代碼了。

在這樣的形勢下，一些可視化的爬蟲工具誕生了！這些工具通過一些策略來爬取特定的數據，雖然沒有自己寫爬蟲操作精準，但是學習成本低很多，下面就來介紹幾款可視化的爬蟲工具。

集搜客GooSeeker

使用集搜客不需要編程語言的基礎，將要抓取的特定字段映射到工作臺，建立好采集的規則，就能輕松將數據采集成功，整個過程簡單明了。

集搜客的特色是爬蟲群功能，功能非常強大，可以直接在會員中心控制采集數量，控制采集時間，同時可以用多個爬蟲采集同一網址，防止采集過于頻繁IP被封，又能保證采集的速度，同時采集的數據可以直接入庫，并導出，關鍵是集搜客還不限制采集的深度和廣度，想多少采集多少。

八爪魚

八爪魚有個優點，可以下載現成的采集規則，如果不會寫規則，就直接用別人寫的規則就好了，進一步降低了使用爬蟲的門檻。

　　網絡礦工

網絡礦工是一款基于C#開源的網絡爬蟲工具，注意，是開源。網絡礦工遵循BSD開源協議，具備完整的UI交互、線程管理、采集匹配等，用戶可以基于此擴展屬于自己的采集器，而不受任何限制。

火車頭

火車頭采集器界面比較清爽，并且內置了好幾款皮膚，視覺效果不錯。采集器內置了一些常用網站的采集規則，內容以門戶網站為主，感覺用處不是太大。

采集規則流程倒是蠻清晰的，自動獲取地址鏈接也足夠方便，缺點是一些結構復雜的頁面無法獲取到信息。

　　神箭手平臺

神箭手平臺和以上工具都不太一樣，它是一個開發爬蟲的平臺，你可以自己開發爬蟲并將爬蟲托管到云端。

神箭手的一些特性非常符合潮流，比如防屏蔽、開放的接口、圖標分析功能，換句話說這其實已經是個開發工具了。

更重要的是，它是一個爬蟲市場，你可以出售自己的爬蟲，或者在平臺上購買需要的爬蟲，這對于廣大爬蟲愛好者來說，多了一個交流和變現的途徑。

爬蟲與反爬蟲

可視化爬蟲工具的出現，讓大量原本并不會寫爬蟲的人也能爬取數據，這就至少能造成兩個后果，一是網站的數據丟失的概率更大，如果是商業數據的話，被競爭對手利用從而導致經濟損失；二是越來越多的爬蟲會對網站負載造成壓力，嚴重者甚至會宕機。

當然，對于普通用戶來說，無論是學習寫爬蟲還是學習使用可視化爬蟲工具，都對自己的工作與生活有益。

互聯網的發展重新定義了很多規則，而爬蟲的存在使得一些看起來非常困難的事情也變得容易起來，也讓一些原本簡單的事情變得復雜。