python爬ip,python爬IP

本文目錄一覽：

• 1、python 爬蟲ip被封鎖怎麼辦
• 2、python 爬蟲 ip池怎麼做
• 3、如何處理python爬蟲ip被封

python 爬蟲ip被封鎖怎麼辦

1. 檢查cookies

當出現無法保持登陸狀態或者直接無法登陸站點的情況時，可以先去對cookies進行檢查，這種情況有可能是cookies出現問題所導致的。

2. 檢查JavaScript

當站點頁面缺少信息或出現空白時，可以去檢查網站創建頁面的JavaScript。

3. 更換IP地址

如果出現403forbidden或者頁面無法打開的問題，那麼就很有可能是IP已經被站點伺服器所封禁，遇到這種情況就需要更換自己的IP地址，目前來說最為方便的就是使用代理IP，例如IPIDEA，可以隨時更換新的IP地址來確保爬蟲的工作效率。

python 爬蟲 ip池怎麼做

無論是爬取IP，都能在本地設計動態代理IP池。這樣既方便使用，又可以提升工作效率。那麼怎麼在本地設計一個代理IP池呢？IPIDEA為大家簡述本地代理IP池的設計和日常維護。

代理IP獲取介面，如果是普通代理IP，使用ProxyGetter介面，從代理源網站抓取最新代理IP；如果是需耗費代理IP，一般都有提供獲取IP的API，會有一定的限制，比如每次提取多少個，提取間隔多少秒。

代理IP資料庫，用以存放在動態VPS上獲取到的代理IP，建議選擇SSDB。SSDB的性能很突出，與Redis基本相當了，Redis是內存型，容量問題是弱項，並且內存成本太高，SSDB針對這個弱點，使用硬碟存儲，使用Google高性能的存儲引擎LevelDB，適合大數據量處理並把性能優化到Redis級別。

代理IP檢驗計劃，代理IP具備時效性，過有效期就會失效，因此 需要去檢驗有效性。設置一個定時檢驗計劃，檢驗代理IP有效性，刪除無效IP、高延時IP，同時預警，當IP池裡的IP少於某個閾值時，根據代理IP獲取介面獲取新的IP。

代理IP池外部介面除代理撥號伺服器獲取的代理IP池，還需要設計一個外部介面，通過這個介面調用IP池裡的IP給爬蟲使用。代理IP池功能比較簡單，使用Flask就可以搞定。功能可以是給爬蟲提供get/delete/refresh等介面，方便爬蟲直接使用。

如何處理python爬蟲ip被封

當python爬蟲IP被封可用以下這幾種方法：

1、放慢爬取速度，減少對於目標網站帶來的壓力，但會減少單位時間類的爬取量。

2、偽造cookies，若從瀏覽器中能夠 正常訪問一個頁面，則可以將瀏覽器中的cookies複製過來使用

3、偽造User-Agent，在請求頭中把User-Agent設置成瀏覽器中的User-Agent，來偽造瀏覽器訪問。

4、使用代理IP，使用代理IP之後能夠 讓網路爬蟲偽裝自己的真實IP。

對於python網路爬蟲來說，有時候業務量繁重，分散式爬蟲是最佳的增強效率方式，而分散式爬蟲又急切需要數目眾多的IP資源，這一點免費IP是滿足不了的，並且免費代理一般不提供高匿名的代理IP，因此不建議大家使用免費的代理IP。為了節約前期成本費而使用免費ip代理，最終只會因為免費ip的劣質而導致苦不堪言，反倒得不償失。使用代理商代理IP可以有效的保障網路的安全，在IP被封的情況下可以有充足的IP可以進行更換，保證工作的正常進行。