Python爬取咸鱼商品数据

LTCBK • 2025-04-27 15:27 • 编程

本文将介绍利用Python语言爬取咸鱼商品数据的方法以及如何在爬取过程中解决遇到的问题。

一、获取页面源码

在使用Python进行爬虫开发时，首先需要获取网页的HTML代码。获取网页的方法有很多，比如Python自带的urllib、requests、爬虫框架Scrapy等。这里我们介绍使用requests库进行获取页面源码。

import requests

url = "https://s.2.taobao.com/list/list.htm?q=%D0%D4%C9%AB&searchType=item&app=shopsearch"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    
response = requests.get(url, headers=headers)

html = response.text

二、解析HTML代码

获取到HTML代码后，需要对其进行解析，才可以提取出需要的信息。解析HTML代码有多种方法，比如使用Python自带的HTMLParser库、BeautifulSoup库、xpath等。这里我们介绍使用BeautifulSoup库进行解析。

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'html.parser')

items = soup.find_all('div', {'class': 'item-info'})

for item in items:
    title = item.find('a', {'class': 'item-link'}).text.strip()
    price = item.find('span', {'class': 'price'}).text.strip()
    location = item.find('span', {'class': 'location'}).text.strip()
    print(title, price, location)

三、设置请求头部信息

在许多网站上，为了防止爬虫程序对服务器造成过大的压力，会采用一些反爬虫技术，比如检查请求头部的信息。所以我们在使用requests库向网站发送请求时，最好添加一些请求头部的信息，来保证成功获取数据。

headers = {
    'Host': 's.2.taobao.com',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Encoding': 'gzip, deflate, sdch, br',
    'Accept-Language': 'zh-CN,zh;q=0.8,en;q=0.6',
    'Referer': 'https://s.2.taobao.com/list/list.htm?q=%D0%D4%C9%AB&searchType=item&app=shopsearch',
    'Connection': 'keep-alive',
}

四、多线程爬取

在处理大量数据时，单线程的网络爬虫想必会显得力不从心，所以可以使用多线程技术来加速数据的爬取。Python自带的Thread库以及multiprocessing库、Scrapy的并发框架等都可以实现多线程或多进程爬取。

from concurrent.futures import ThreadPoolExecutor

def get_item_detail(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')
    title = soup.find('div', {'class': 'tb-main-title'}).text.strip()
    price = soup.find('div', {'class': 'tb-rmb-num'}).text.strip()
    location = soup.find('div', {'class': 'tb-detail-hd'}).find_all('span')[1].text.strip()
    print(title, price, location)

urls = []
for i in range(1, 11):
    url = 'https://s.2.taobao.com/list/list.htm?spm=2007.1000622.0.0.6bb1a944duU7ut&q=%D0%D4%C9%AB&searchType=item&cat=50018881&page=' + str(i)
    urls.append(url)

pool = ThreadPoolExecutor(max_workers=5)
for url in urls:
    pool.submit(get_item_detail, url)

五、反爬虫技术处理

在爬虫过程中，可能会遇到一些反爬虫技术，比如IP封禁、验证码、限制访问速度等。为了能够正常进行爬取，需要对这些技术进行相应地处理。

对于IP封禁，可以使用代理IP解决；对于验证码，可以使用OCR技术识别；对于限制访问速度，可以设置每次请求的时间间隔。

六、总结

本文介绍了使用Python进行咸鱼商品数据爬取的方法，包括获取页面源码、解析HTML代码、设置请求头部信息、多线程爬取以及处理反爬虫技术等。

原创文章，作者：LTCBK，如若转载，请注明出处：https://www.506064.com/n/374298.html