Python爬取微博评论

本文将详细阐述如何使用Python爬取微博评论。

一、准备工作

在爬取微博评论之前，需要先获取一个微博开发者账号，并且成功接入微博开放平台。

接下来，需要使用Python的requests和beautifulsoup模块，分别用于发送http请求和解析html文档。

import requests
from bs4 import BeautifulSoup

def get_html(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        response.encoding = 'utf-8'
        html = response.text
        return html
    else:
        return None

二、获取微博评论

在获取微博评论之前，需要先获取微博的mid和oid参数。

mid是微博的id号，可以在微博网页的url中找到，如”https://weibo.com/1234567890/ABCDEFGHI?type=comment”，其中1234567890就是mid。

oid一般会在html文档中的javascript代码中找到。具体方法是，使用beautifulsoup解析html文档后，查找class为”WB_feed_detail”的div标签，然后在其中查找script标签，找到以”oid”开头的字符串即可。代码如下：

def get_mid_and_oid(url):
    html = get_html(url)
    soup = BeautifulSoup(html, 'html.parser')
    mid = soup.find(attrs={"name": "mid"})["content"]
    oid = None
    scripts = soup.find_all('script')
    for script in scripts:
        text = script.string
        if text:
            index = text.find('oid')
            if index != -1:
                oid = text[index+5:index+15]
    return mid, oid

获取mid和oid之后，可以通过组合url来获取评论。由于微博的评论需要进行分页，因此需要使用另一个参数page进行控制。

def get_comment(url, page):
    mid, oid = get_mid_and_oid(url)
    if not oid:
        return None

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    params = {
        'ajwvr': 6,
        'mid': mid,
        'id': oid,
        'page': page,
        'filter': 'all',
        'filter_tips': '1'}
    url = 'https://weibo.com/aj/v6/comment/big?ajwvr=6&id={}&page={}&filter=all∑_comment_number=9223372036854775807&filter_tips_before={}&from=singleWeiBo'.format(
        oid, page, page-1)
    response = requests.get(url, headers=headers, cookies={})
    if response.status_code == 200:
        result = response.json()
        return result['data']['html']
    else:
        return None

三、保存微博评论

获取到微博评论后，可以将其保存到文件或数据库中。以下代码示例将评论保存到txt文件中：

def save_comment(url, filename):
    with open(filename, 'w', encoding='utf-8') as f:
        page = 1
        while True:
            html = get_comment(url, page)
            if html:
                soup = BeautifulSoup(html, 'html.parser')
                comments = soup.find_all(attrs={"node-type": "replywrap"})
                if not comments:
                    break
                for comment in comments:
                    f.write(comment.get_text().replace('\n', '').strip())
                    f.write('\n')
                page += 1
            else:
                break

在调用save_comment函数时，需要传入微博页面的url和保存的文件名。

四、反爬机制

由于微博有反爬机制，当访问频率过高时，会自动封禁ip。因此在爬取微博评论时，需要对访问频率进行控制。

以下代码展示了如何进行访问控制：

import time

def sleep(seconds):
    print('Sleeping for {} seconds...'.format(seconds))
    time.sleep(seconds)

def get_comment(url, page):
    # ...
    sleep(5)  # 控制访问频率，每次爬取间隔5秒

在get_comment函数中加入sleep函数，控制每次爬取间隔5秒。这样可以有效降低访问频率，避免被封禁。