在使用爬蟲多次爬取同一網(wǎng)站時，經(jīng)常會被網(wǎng)站的IP反爬蟲機(jī)制給禁掉，為了解決封禁IP的問題通常會使用ip代理。但也有一部分人在HTTP代理ip的使用存在誤解，他們認(rèn)為使用了ip代理就能解決一切問題，然而ip代理不是萬能的，它只是一個工具，如果使用不當(dāng)，一樣會被封IP。
 

　　在進(jìn)行爬蟲的時候，我們一般都建議使用高匿ip代理，因?yàn)橹挥?a href="http://www.rockgrill.com.cn/">高匿ip代理才可以真正的隱藏自己的真實(shí)IP地址，也就無法判斷近期訪問的IP是否是爬蟲IP。

　　ip代理的匿名度如何分辨?

　　高匿、匿名和透明代理的主要區(qū)別在于對方服務(wù)器獲取REMOTE_ADDR、HTTP_X_FORWARDED_FOR、HTTP_VIA三個參數(shù)的區(qū)別。

　　眾所周知，REMOTE_ADDR是無法偽造的。

　　使用透明代理(Transparent)，對方服務(wù)器知道你使用了代理，也知道你的真實(shí)IP。REMOTE_ADDR=ProxyIP，HTTP_VIA=ProxyIP，HTTP_X_FORWARDED_FOR=YourIP

　　使用匿名代理(Anonymous)，對方服務(wù)器知道你使用了代理，但不知道你的真實(shí)IP。REMOTE_ADDR=ProxyIP，HTTP_VIA=ProxyIP，HTTP_X_FORWARDED_FOR=ProxyIP

　　使用高匿名代理(High)，對方服務(wù)器不知道你使用了代理，也不知道你的真實(shí)IP。REMOTE_ADDR=ProxyIP，HTTP_VIA=NULL，HTTP_X_FORWARDED_FOR=NULL

　　只有盡量地模擬真實(shí)用戶正常訪問，才能最大程度地避免被封IP。動態(tài)ip海提供海量IP資源，可以多線程同時進(jìn)行工作，不限并發(fā)數(shù)，工作效率翻倍，性價比極高，這才是使用ip代理爬蟲采集的正確打開方式。

版權(quán)聲明：本文為ipadsl.cn所屬公司原創(chuàng)作品，未經(jīng)許可，禁止轉(zhuǎn)載！