Python爬取微博評論

本文將詳細闡述如何使用Python爬取微博評論。

一、準備工作

在爬取微博評論之前，需要先獲取一個微博開發者賬號，並且成功接入微博開放平台。

接下來，需要使用Python的requests和beautifulsoup模塊，分別用於發送http請求和解析html文檔。

import requests
from bs4 import BeautifulSoup

def get_html(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        response.encoding = 'utf-8'
        html = response.text
        return html
    else:
        return None

二、獲取微博評論

在獲取微博評論之前，需要先獲取微博的mid和oid參數。

mid是微博的id號，可以在微博網頁的url中找到，如”https://weibo.com/1234567890/ABCDEFGHI?type=comment”，其中1234567890就是mid。

oid一般會在html文檔中的javascript代碼中找到。具體方法是，使用beautifulsoup解析html文檔後，查找class為”WB_feed_detail”的div標籤，然後在其中查找script標籤，找到以”oid”開頭的字符串即可。代碼如下：

def get_mid_and_oid(url):
    html = get_html(url)
    soup = BeautifulSoup(html, 'html.parser')
    mid = soup.find(attrs={"name": "mid"})["content"]
    oid = None
    scripts = soup.find_all('script')
    for script in scripts:
        text = script.string
        if text:
            index = text.find('oid')
            if index != -1:
                oid = text[index+5:index+15]
    return mid, oid

獲取mid和oid之後，可以通過組合url來獲取評論。由於微博的評論需要進行分頁，因此需要使用另一個參數page進行控制。

def get_comment(url, page):
    mid, oid = get_mid_and_oid(url)
    if not oid:
        return None

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    params = {
        'ajwvr': 6,
        'mid': mid,
        'id': oid,
        'page': page,
        'filter': 'all',
        'filter_tips': '1'}
    url = 'https://weibo.com/aj/v6/comment/big?ajwvr=6&id={}&page={}&filter=all∑_comment_number=9223372036854775807&filter_tips_before={}&from=singleWeiBo'.format(
        oid, page, page-1)
    response = requests.get(url, headers=headers, cookies={})
    if response.status_code == 200:
        result = response.json()
        return result['data']['html']
    else:
        return None

三、保存微博評論

獲取到微博評論後，可以將其保存到文件或數據庫中。以下代碼示例將評論保存到txt文件中：

def save_comment(url, filename):
    with open(filename, 'w', encoding='utf-8') as f:
        page = 1
        while True:
            html = get_comment(url, page)
            if html:
                soup = BeautifulSoup(html, 'html.parser')
                comments = soup.find_all(attrs={"node-type": "replywrap"})
                if not comments:
                    break
                for comment in comments:
                    f.write(comment.get_text().replace('\n', '').strip())
                    f.write('\n')
                page += 1
            else:
                break

在調用save_comment函數時，需要傳入微博頁面的url和保存的文件名。

四、反爬機制

由於微博有反爬機制，當訪問頻率過高時，會自動封禁ip。因此在爬取微博評論時，需要對訪問頻率進行控制。

以下代碼展示了如何進行訪問控制：

import time

def sleep(seconds):
    print('Sleeping for {} seconds...'.format(seconds))
    time.sleep(seconds)

def get_comment(url, page):
    # ...
    sleep(5)  # 控制訪問頻率，每次爬取間隔5秒

在get_comment函數中加入sleep函數，控制每次爬取間隔5秒。這樣可以有效降低訪問頻率，避免被封禁。