用Python爬取微博评论

一、介绍

在社交媒体当中，微博是一个非常受欢迎的平台，而微博评论也是很关键的部分。如果你对某个话题或者某个人感兴趣，想要了解更多关于这个话题或者这个人的细节，那么爬取微博评论就是非常必要和有用的。而Python就是一个非常强大的工具来实现这个目标。

通过Python，我们可以用爬虫程序来自动化地提取微博数据，包括发帖的内容和评论，以及粉丝数、转发数等各种有关数据。Python爬虫程序的优点是速度非常快，并且能够自动化的获取数据。

二、正文

1、Python根据关键字爬取微博

如果你想了解一个话题的热度或者一个人的言论，那么可以根据关键字来爬取微博。以Python作为爬虫工具，你需要先通过微博开放平台申请一个App Key，然后使用该App Key和App Secret去访问微博API。代码如下：

import requests

app_key = 'your_app_key'
app_secret = 'your_app_secret'

# 根据关键字获取微博
def get_weibo_by_keyword(keyword):
    url = 'https://api.weibo.com/2/search/statuses.json'
    params = {
        'q': keyword,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    return response.json()['statuses']

以上代码会返回一个包含最多100条微博的JSON数据。

2、Python爬取微博内容和评论

在爬取微博时，你可能需要爬取某个用户的所有微博内容和评论，这时需要用到微博API提供的userInfo和comments接口。代码如下：

import requests

app_key = 'your_app_key'
app_secret = 'your_app_secret'

# 根据用户ID获取所有微博
def get_weibo_by_user_id(user_id):
    url = 'https://api.weibo.com/2/statuses/user_timeline.json'
    params = {
        'uid': user_id,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    return response.json()['statuses']

# 根据微博ID获取评论
def get_comments_by_weibo_id(weibo_id):
    url = 'https://api.weibo.com/2/comments/show.json'
    params = {
        'id': weibo_id,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    return response.json()['comments']

以上代码可以获取某个用户的所有微博内容和评论，并以JSON数据的形式返回。

3、Python爬取微博数据

如果你想获取某个话题或者某个人的所有微博数据，那么你需要用到微博API提供的statuses接口。代码如下：

import requests

app_key = 'your_app_key'
app_secret = 'your_app_secret'

# 根据用户ID获取所有微博
def get_weibo_by_user_id(user_id):
    url = 'https://api.weibo.com/2/statuses/user_timeline.json'
    params = {
        'uid': user_id,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    return response.json()['statuses']

# 根据微博ID获取评论
def get_comments_by_weibo_id(weibo_id):
    url = 'https://api.weibo.com/2/comments/show.json'
    params = {
        'id': weibo_id,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    return response.json()['comments']

# 根据关键字获取微博
def get_weibo_by_keyword(keyword):
    url = 'https://api.weibo.com/2/search/statuses.json'
    params = {
        'q': keyword,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    return response.json()['statuses']

以上代码可以获取某个用户的所有微博数据，包括发帖内容、评论数、转发数等各种数据，并以JSON数据的形式返回。

4、Python爬取微博评论

如果你只想获取某个微博的评论数据，那么可以使用微博API提供的comments接口。代码如下：

import requests

app_key = 'your_app_key'
app_secret = 'your_app_secret'

# 根据微博ID获取评论
def get_comments_by_weibo_id(weibo_id):
    url = 'https://api.weibo.com/2/comments/show.json'
    params = {
        'id': weibo_id,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    return response.json()['comments']

以上代码可以获取某个微博的所有评论数据，并以JSON数据的形式返回。

5、Python爬取微博评论代码

下面是一个具体的案例，演示如何用Python爬取某个微博的评论数据：

import requests

app_key = 'your_app_key'
app_secret = 'your_app_secret'

# 根据微博ID获取评论
def get_comments_by_weibo_id(weibo_id):
    url = 'https://api.weibo.com/2/comments/show.json'
    params = {
        'id': weibo_id,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    comments = response.json()['comments']
    while len(comments) < response.json()['total_number']:
        params['max_id'] = comments[-1]['id']
        response = requests.get(url, params=params)
        comments += response.json()['comments']
    return comments

# 爬取某个微博的评论数据
weibo_id = '4479404381472511'
comments = get_comments_by_weibo_id(weibo_id)
for comment in comments:
    print(comment['text'])

以上代码可以爬取某个微博的所有评论，并把评论的文字内容打印出来。

6、用Python爬取微博热搜

如果你想要了解当前的热门话题或者热门事件，那么可以爬取微博热搜榜。代码如下：

import requests
from bs4 import BeautifulSoup

url = 'https://weibo.com/topgirls'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text)

# 获取微博热搜榜
hot_list = soup.select('.td_1')
for hot in hot_list:
    print(hot.get_text())

以上代码可以爬取微博热搜榜，包括话题的名称和热度值，并把结果打印出来。

7、Python爬取某人所有微博

假设你想要了解某个用户的所有微博内容，那么可以使用微博API提供的statuses/user_timeline接口。代码如下：

import requests

app_key = 'your_app_key'
app_secret = 'your_app_secret'

# 根据用户ID获取所有微博
def get_weibo_by_user_id(user_id):
    url = 'https://api.weibo.com/2/statuses/user_timeline.json'
    params = {
        'uid': user_id,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    weibos = response.json()['statuses']
    while len(weibos) < response.json()['total_number']:
        params['page'] += 1
        response = requests.get(url, params=params)
        weibos += response.json()['statuses']
    return weibos

# 爬取某个用户所有微博
user_id = '5050574794'
weibos = get_weibo_by_user_id(user_id)
for weibo in weibos:
    print(weibo['text'])

以上代码可以爬取某个用户的所有微博，并把微博内容打印出来。