最新的動(dòng)態(tài)爬蟲怎么抓取IP?
1.對(duì)請(qǐng)求Headers進(jìn)行限制
這一般是大家平常見的多的反爬蟲手段，主要是初步判斷你是否是真實(shí)的瀏覽器在操作。這個(gè)一般很好解決，把瀏覽器中的Headers信息復(fù)制上去就行了。需要重點(diǎn)關(guān)注的是，很多網(wǎng)站只需要userAgent信息就可以通過，但是有的網(wǎng)站還需要驗(yàn)證一些其他的信息，就好比知乎，有些頁(yè)面還需要 authorization 的信息。所以需要加Headers，可能還需要Referer、Accept-encoding的一些信息。
2.對(duì)請(qǐng)求IP進(jìn)行限制
有時(shí)候我們的爬蟲在爬著，突然出現(xiàn)頁(yè)面無法打開、403禁止訪問錯(cuò)誤，很有可能是IP地址被網(wǎng)站被封了，不允許你再進(jìn)行訪問。
3.對(duì)請(qǐng)求cookie進(jìn)行限制
如果出現(xiàn)爬蟲登錄不了、不在登錄狀態(tài)，那么需要檢查一下cookie.有可能是你爬蟲的cookie被發(fā)現(xiàn)了的。
爬蟲應(yīng)該做好應(yīng)對(duì)的方法，不同的網(wǎng)站防御也是不同的。平時(shí)用作刷量、爬蟲的用戶通常都是通過動(dòng)態(tài)代理ip來突破限制，爬蟲代理IP一般采集一次或者多次就會(huì)更換ip,如局域網(wǎng)對(duì)上網(wǎng)用戶端口、目的網(wǎng)站、協(xié)議、游戲上的限制，網(wǎng)站對(duì)于IP的訪問頻率、訪問次數(shù)的限制等；另一方面，通過代理IP也可以隱藏用戶的真實(shí)身份，訪問到不讓對(duì)方發(fā)現(xiàn)你，然后從中爬取一些數(shù)據(jù)。
版權(quán)聲明：本文為ipadsl.cn所屬公司原創(chuàng)作品，未經(jīng)許可，禁止轉(zhuǎn)載！