很多人會認為爬蟲工作和代理IP是形影不離的，爬蟲一定要使用代理。

爬蟲程式本質上就是模仿造訪網站的使用者而已，對伺服器來說，這類特殊的使用者往往會不守規矩，增加伺服器壓力，所以網站總是用各種手段發現和禁止。不使用代理也可以爬蟲，一起來看看吧~

一、業務量較小

業務量的爬蟲工作，有時候並不需要使用代理IP就可以完成，比如爬取幾百篇文章，用一個火車頭就輕鬆解決了；或者對工作效率沒有繁瑣的要求，可以模擬人工正常訪問速度緩慢的爬升。

二、反爬弱策略

有些網站沒有反爬蟲策略，那麼就不需要使用代理IP也可以正常進行爬蟲工作，不過建議還是IP也可以正常進行爬蟲工作。

三、訪問頻率低

反爬蟲策略最常見的方式就是判斷單一IP的存取頻率，因為一般使用者造訪網頁的頻率不會很快的造訪頻率、存取邏輯差不多的話，那麼爬蟲也沒有多大意義存在。

當爬蟲都希望自己的爬蟲能夠快速抓取大量的數據，最常用的手段就是使用代理IP，突破伺服器的反爬蟲機制。