Python实现IP代理的方法

本文将介绍如何使用Python代理IP。在网络爬虫、反爬虫和自动化测试中，IP代理是必考虑的因素之一。使用代理IP可以有效地提高爬取数据的成功率，增强爬取效率，维护爬虫的匿名性。Python提供了许多第三方库和框架，可以方便地实现IP代理。

使用Python实现IP代理需要安装requests和bs4库。在终端输入以下命令安装：

pip install requests
pip install beautifulsoup4

获取代理IP有两种方式：手动获取和自动获取。手动获取需要从免费代理IP网站上复制粘贴IP，速度较慢，但可以减少自动获取的误差。自动获取需要使用第三方库或者API，速度更快，但可能会存在ip不可用或者被封禁的情况

通过免费代理网站手动获取IP，如”西刺免费代理IP”、”快代理”等。将IP和对应端口号复制到代码中。

proxies = {
  "http": "http://101.132.122.230:80",
  "https": "http://101.236.20.23:8866"
}

使用第三方库或者API获取免费代理IP。这里我们使用”requests”和”beautifulsoup4″库，爬取代理IP池网站的数据，然后筛选出可用的IP。

import requests
from bs4 import BeautifulSoup

def get_ip():
    url = "http://www.xicidaili.com/nn/"
    headers = {'User-Agent': 'Mozilla/5.0'}
    html = requests.get(url=url, headers=headers).text
    soup = BeautifulSoup(html, 'html.parser').find_all('tr', class_='odd')
    ips = []
    for i in soup:
        soup_td = i.find_all('td')
        ip = soup_td[1].text + ':' + soup_td[2].text
        ips.append(ip)
    print("获取代理IP成功")
    return ips

def check_ip(ips):
    usable_ips = []
    url = "https://www.baidu.com/"
    headers = {'User-Agent': 'Mozilla/5.0'}
    for ip in ips:
        try:
            proxy = {'http': 'http://' + ip, 'https': 'https://' + ip}
            response = requests.get(url=url, headers=headers, proxies=proxy, timeout=1)
            if response.status_code == 200:
                usable_ips.append(ip)
        except:
            continue
    print("筛选代理IP成功")
    return usable_ips

ips = get_ip()
usable_ips = check_ip(ips)
proxies = {'http': 'http://' + usable_ips[0], 'https': 'https://' + usable_ips[0]}

将获取到的代理IP设置在请求头部中即可。

import requests

url = "https://www.baidu.com/"
headers = {'User-Agent': 'Mozilla/5.0'}
proxies = {
    "http": "http://101.132.122.230:80",
    "https": "http://101.236.20.23:8866"
}
response = requests.get(url=url, headers=headers, proxies=proxies)
print(response.text)

高匿名代理IP指请求头部中不包含代理IP的相关信息，提高匿名性。在获取IP时，需筛选出高匿代理。以下是一个简单的例子：

def check_high_ip(ips):
    high_ips = []
    url = "https://httpbin.org/get"
    headers = {'User-Agent': 'Mozilla/5.0'}
    for ip in ips:
        try:
            proxy = {'http': 'http://' + ip, 'https': 'https://' + ip}
            response = requests.get(url=url, headers=headers, proxies=proxy, timeout=1)
            if response.status_code == 200:
                if ip not in response.text:
                    continue
                else:
                    high_ips.append(ip)
        except:
            continue
    print("筛选高匿代理IP成功")
    return high_ips

为了防止封禁或者被限制，需要动态切换代理IP。我们可以设置一个阈值，当访问次数达到阈值时，重新获取代理IP。

import requests

proxies = [{'http': 'http://' + usable_ips[i], 'https': 'https://' + usable_ips[i]} for i in range(len(usable_ips))]

url = "https://www.baidu.com/"
headers = {'User-Agent': 'Mozilla/5.0'}

count = 0
threshold = 10
for proxy in proxies:
    if count > threshold:
        ips = get_ip()
        usable_ips = check_ip(ips)
        proxies = [{'http': 'http://' + usable_ips[i], 'https': 'https://' + usable_ips[i]} for i in range(len(usable_ips))]
        print("获取新代理IP成功")
        count = 0
    try:
        response = requests.get(url=url, headers=headers, proxies=proxy, timeout=1)
        print(response.text)
        count += 1
    except:
        continue

本文介绍了两种获取代理IP的方法，手动获取和自动获取，同时实现了高匿名代理IP和动态切换代理IP的功能，使爬虫的效率更高，匿名性更好。