本文目錄一覽：
如何通過IP訪問並運行伺服器上的python文件
很多種方法,例如:
rpc遠程調用.通過ip地址,遠程指定python文件,直接調用
寫一個簡單的socket,進行通信,發送命令,根據命令啟動python文件
通過http協議,建立簡單的web服務,通過http請求調用
通過消息隊列,例如zmq,rabbitmq,amq,發送消息或者命令,由消費者調用python文件.
python讀取txt中的ip地址問題
ip = ‘123.58.230.224’
real_ip = open(‘aa.txt’,’r’).read()
if ip == real_ip:
print ‘OK’
else:
print ‘not’
#open(”,’r’)加個’r’表示讀取
python 爬蟲 ip池怎麼做
無論是爬取IP，都能在本地設計動態代理IP池。這樣既方便使用，又可以提升工作效率。那麼怎麼在本地設計一個代理IP池呢？IPIDEA為大家簡述本地代理IP池的設計和日常維護。
代理IP獲取介面，如果是普通代理IP，使用ProxyGetter介面，從代理源網站抓取最新代理IP；如果是需耗費代理IP，一般都有提供獲取IP的API，會有一定的限制，比如每次提取多少個，提取間隔多少秒。
代理IP資料庫，用以存放在動態VPS上獲取到的代理IP，建議選擇SSDB。SSDB的性能很突出，與Redis基本相當了，Redis是內存型，容量問題是弱項，並且內存成本太高，SSDB針對這個弱點，使用硬碟存儲，使用Google高性能的存儲引擎LevelDB，適合大數據量處理並把性能優化到Redis級別。
代理IP檢驗計劃，代理IP具備時效性，過有效期就會失效，因此 需要去檢驗有效性。設置一個定時檢驗計劃，檢驗代理IP有效性，刪除無效IP、高延時IP，同時預警，當IP池裡的IP少於某個閾值時，根據代理IP獲取介面獲取新的IP。
代理IP池外部介面除代理撥號伺服器獲取的代理IP池，還需要設計一個外部介面，通過這個介面調用IP池裡的IP給爬蟲使用。代理IP池功能比較簡單，使用Flask就可以搞定。功能可以是給爬蟲提供get/delete/refresh等介面，方便爬蟲直接使用。
原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-tw/n/309621.html
微信掃一掃 
支付寶掃一掃 