用Python爬取淘寶商品信息

1. 引言

淘寶作為目前中國最大的電商平台，每天都有數百萬的交易和商品信息產生，如何快速精準地獲取這些信息，對於電商領域的研究者和實踐者都具有非常重要的意義。本文將分享通過Python爬蟲技術獲取淘寶商品信息的經驗，希望對讀者有所啟發。

2. Python爬蟲技術

Python爬蟲技術是一種自動化的程序，通過模擬網頁請求，然後對返回的HTML代碼進行解析，從而獲取網頁上的信息。Python爬蟲在數據抓取、搜索引擎、機器學習等領域有着非常廣泛的應用。

3. 數據獲取思路

在使用Python爬蟲技術獲取淘寶商品信息時，我們需要根據實際需求設置搜索關鍵詞、爬取頁面數、獲取數據類型等參數。一般的，我們將數據獲取流程分為三步：

（1）發送請求，獲取網頁HTML代碼

import requests

url = 'https://s.taobao.com/search?q=Python'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

response = requests.get(url, headers=headers)

if response.status_code == 200:
    print(response.text)

（2）解析HTML代碼，獲取所需信息

解析HTML代碼可以使用Python中的BeautifulSoup庫，它提供了許多方法幫助我們快速解析HTML代碼。

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')
g_page_config = soup.find('script', id='g_page_config').string

（3）將所需數據保存到數據庫、文件或其他格式

我們可以將爬取到的數據保存到數據庫中，以方便後期的數據分析、可視化等需求。

import pymysql

db = pymysql.connect(host='localhost', port=3306, user='root', password='xxxx', database='test')

cursor = db.cursor()

sql = """
    CREATE TABLE IF NOT EXISTS `taobao` (
      `id` int(10) NOT NULL AUTO_INCREMENT COMMENT 'ID',
      `title` varchar(255) NOT NULL COMMENT '標題',
      `price` varchar(100) NOT NULL COMMENT '價格',
      `shop` varchar(255) NOT NULL COMMENT '店鋪',
      `location` varchar(255) NOT NULL COMMENT '產地',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='淘寶商品';
"""

cursor.execute(sql)

for item in data_list:
    sql = """
        INSERT INTO `taobao` (`title`, `price`, `shop`, `location`) VALUES (%s, %s, %s, %s)
    """
    cursor.execute(sql, (item['title'], item['price'], item['shop'], item['location']))

db.commit()

4. 淘寶商品信息獲取實戰

（1）獲取商品信息

以下代碼將嘗試獲取淘寶上關於Python的商品信息，名稱、價格、店鋪等信息將被提取。

import requests
from bs4 import BeautifulSoup
import re

url = 'https://s.taobao.com/search?q=Python&wq=Python&page=1'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
g_page_config = soup.find('script', id='g_page_config').string

re_shop = 'shopLink\":\"(.*?)\"'
re_item = '.*\"title\":\"(.*?)\".*\"view_price\":\"(.*?)\".*' + re_shop + '.*\"location\":\"(.*?)\"'
data_list = []
for match in re.finditer(re_item, g_page_config):
    data = {
        'title': match.group(1),
        'price': match.group(2),
        'shop': match.group(3),
        'location': match.group(4)
    }
    data_list.append(data)

print(data_list)

（2）獲取多頁商品信息

在本次實戰中，我們將使用爬蟲技術獲取淘寶上100頁Python商品信息。由於每個頁面的網址都相似，因此我們只需要循環遍歷每個頁面即可。

import requests
from bs4 import BeautifulSoup
import re

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

data_list = []
for page in range(1, 101):
    url = 'https://s.taobao.com/search?q=Python&wq=Python&page=' + str(page)
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    g_page_config = soup.find('script', id='g_page_config').string

    re_shop = 'shopLink\":\"(.*?)\"'
    re_item = '.*\"title\":\"(.*?)\".*\"view_price\":\"(.*?)\".*' + re_shop + '.*\"location\":\"(.*?)\"'
    for match in re.finditer(re_item, g_page_config):
        data = {
            'title': match.group(1),
            'price': match.group(2),
            'shop': match.group(3),
            'location': match.group(4)
        }
        data_list.append(data)

print(data_list)

5. 總結

通過Python爬蟲技術，我們可以快速獲取淘寶上關於Python的商品信息。在實際應用中，我們可以針對不同的需求，設置不同的參數，獲取不同類型的數據。這些數據可以保存到數據庫或文件中，以備後續的數據分析和應用。