經常使用代理IP的爬蟲工作者都知道，網路上擁有大量的數據，對應的爬蟲工作量非常艱鉅，所以爬蟲程序的性能至關重要。不同網站對應的爬蟲策略各不相同，那麼優秀的爬蟲策略都具備哪些特質呢？

1.友善性

爬蟲的友善性有兩個意義：一是保護目標網站的部分私密性，二是減少目標網站的網路負載。對於網站擁有者來說，有些內容是不希望外洩的，一般會有robot.txt檔案來指定禁止爬取的內容，或是在HTML程式碼裡加入 meta name="robots"標記。友善的爬蟲，一定會遵守這個協議。

2.高性能

高性能指的是指爬蟲的高效率、穩定性、持續性，單位時間內能穩定持續爬取的網頁越多，那麼爬蟲的表現就越高。要提高爬蟲的性能，在程式設計時對資料結構的選擇尤其重要，同時爬蟲的策略以及反反爬蟲的策略也不容忽視，並且需要利用天啟代理IP這類優質的代理IP來輔助爬蟲工作。

3.可擴展性

即使單一爬蟲的性能提高了，但面對海量的資料仍然需要相當長的周期，為了盡量縮短爬蟲的任務週期，爬蟲系統還應該有很好的擴展性，可以透過增加抓取伺服器和爬蟲數量來達到目的。每台伺服器部署多個爬蟲，每個爬蟲多執行緒運行，透過多種方式增加並發性，也就是分散式爬蟲。