一部分爬蟲(chóng)工作者說(shuō)：爬蟲(chóng)使用爬蟲(chóng)ip代理會(huì)好一些，也有部分說(shuō)沒(méi)有ip代理一樣也可以，這是什么原因呢?

　　最常見(jiàn)的就是判斷你訪問(wèn)的頻率，因?yàn)槠胀ㄈ嗽L問(wèn)網(wǎng)頁(yè)的頻率是不會(huì)很快的，如果發(fā)現(xiàn)某個(gè)ip訪問(wèn)的過(guò)快就會(huì)將此ip封禁，當(dāng)任務(wù)量不是很大的時(shí)候，這樣就不會(huì)封IP，所以他可以不用ip代理工具完成每天的任務(wù)量。

　　任務(wù)量比較大的時(shí)，一天幾十萬(wàn)上百萬(wàn)的數(shù)據(jù)，慢慢爬就完不成任務(wù)了，加速爬的話，目標(biāo)服務(wù)器壓力太大，就會(huì)封IP，同樣完不成任務(wù)。那怎么辦呢，只有用ip代理來(lái)解決了。

　　舉個(gè)例子，一個(gè)IP短時(shí)間訪問(wèn)100次，會(huì)被目標(biāo)服務(wù)器認(rèn)為訪問(wèn)過(guò)快，導(dǎo)致IP被封，而使用10個(gè)ip代理短時(shí)間訪問(wèn)10次的話，就不會(huì)被認(rèn)為過(guò)快從而被封了。當(dāng)任務(wù)量龐大的時(shí)候，使用動(dòng)態(tài)ip海往往可以事半功倍，這就是為什么有認(rèn)為沒(méi)有ip代理就沒(méi)有網(wǎng)絡(luò)爬蟲(chóng)的原因了。

版權(quán)聲明：本文為ipadsl.cn所屬公司原創(chuàng)作品，未經(jīng)許可，禁止轉(zhuǎn)載！