我們生活在互聯(lián)網(wǎng)時(shí)代，如果要全面收集一些信息，就需要在本地抓取互聯(lián)網(wǎng)上的各種信息，進(jìn)行整合。這種“自動請求網(wǎng)站并提取網(wǎng)站信息的程序”被稱為爬蟲，那么爬蟲的五種常見采集策略如下：

 

1、數(shù)據(jù)加密；

 

2.限制訪問頻率；

 

3.數(shù)據(jù)以非文本形式呈現(xiàn)；

 

4.驗(yàn)證碼保護(hù)；

 

5.Cookie驗(yàn)證；

 

本文主要討論如何突破限制訪問頻率:

 

限制訪問頻率的原則:

 

服務(wù)器程序(例如WAF)維護(hù)客戶端的訪問計(jì)數(shù)(IP)。如果客戶端的請求頻率(IP)超過閾值，請求將被攔截。通常會出現(xiàn)以下情況:

 

1.最常見:返回403或503服務(wù)不可用。

 

2.連接被重置。

 

3.最討厭的結(jié)果:返回?zé)o效內(nèi)容。

 

突破方法:

 

1.使用代理ip軟件。因?yàn)榉?wù)器是按照ip來限制的，通過使用代理IP，下載量可以平均到多個(gè)IP。

 

需要提醒的是，不要選擇透明代理，因?yàn)橥该鞔硐喈?dāng)于你的真實(shí)ip，你訪問時(shí)看得一清二楚，用和不用沒什么區(qū)別。因?yàn)閃AF可以檢測真正的源IP，所以你應(yīng)該使用匿名IP代理。

 

2.增加請求延遲。例如，WAF將單個(gè)IP請求的頻率限制為不超過20次/分鐘。我們可以在兩次請求之間增加5S的延遲，這樣下載頻率就是12次/分鐘，不會被攔截。

 

一般我們會結(jié)合1、2種方法，既能防止攔截，又能加快獲取速度。比如用我們10個(gè)ip代理，每次下載增加5S延遲，一分鐘實(shí)際下載量是:120次。

 

3.使用搜索引擎緩存中“曲線救國”的策略，繞過目標(biāo)服務(wù)器，從搜索引擎的緩存中采集。而且緩存中頁面的結(jié)構(gòu)和原始頁面的結(jié)構(gòu)是一樣的，不需要重寫提取規(guī)則。

 

4.當(dāng)返回?zé)o效內(nèi)容時(shí)，必須想辦法檢查內(nèi)容是否有效，否則很難保證所有數(shù)據(jù)都是正確的。

很多公司和個(gè)人在使用IP代理幫助爬蟲完成收集任務(wù)，動態(tài)ip海覆蓋全國的動態(tài)IP和靜態(tài)IP線路，解決多開異常，登錄異常的好幫手，現(xiàn)在注冊可以免費(fèi)試用1小時(shí)測試。