用Python爬取微博評論

一、介紹

在社交媒體當中，微博是一個非常受歡迎的平台，而微博評論也是很關鍵的部分。如果你對某個話題或者某個人感興趣，想要了解更多關於這個話題或者這個人的細節，那麼爬取微博評論就是非常必要和有用的。而Python就是一個非常強大的工具來實現這個目標。

通過Python，我們可以用爬蟲程序來自動化地提取微博數據，包括發帖的內容和評論，以及粉絲數、轉發數等各種有關數據。Python爬蟲程序的優點是速度非常快，並且能夠自動化的獲取數據。

二、正文

1、Python根據關鍵字爬取微博

如果你想了解一個話題的熱度或者一個人的言論，那麼可以根據關鍵字來爬取微博。以Python作為爬蟲工具，你需要先通過微博開放平台申請一個App Key，然後使用該App Key和App Secret去訪問微博API。代碼如下：

import requests

app_key = 'your_app_key'
app_secret = 'your_app_secret'

# 根據關鍵字獲取微博
def get_weibo_by_keyword(keyword):
    url = 'https://api.weibo.com/2/search/statuses.json'
    params = {
        'q': keyword,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    return response.json()['statuses']

以上代碼會返回一個包含最多100條微博的JSON數據。

2、Python爬取微博內容和評論

在爬取微博時，你可能需要爬取某個用戶的所有微博內容和評論，這時需要用到微博API提供的userInfo和comments介面。代碼如下：

import requests

app_key = 'your_app_key'
app_secret = 'your_app_secret'

# 根據用戶ID獲取所有微博
def get_weibo_by_user_id(user_id):
    url = 'https://api.weibo.com/2/statuses/user_timeline.json'
    params = {
        'uid': user_id,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    return response.json()['statuses']

# 根據微博ID獲取評論
def get_comments_by_weibo_id(weibo_id):
    url = 'https://api.weibo.com/2/comments/show.json'
    params = {
        'id': weibo_id,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    return response.json()['comments']

以上代碼可以獲取某個用戶的所有微博內容和評論，並以JSON數據的形式返回。

3、Python爬取微博數據

如果你想獲取某個話題或者某個人的所有微博數據，那麼你需要用到微博API提供的statuses介面。代碼如下：

import requests

app_key = 'your_app_key'
app_secret = 'your_app_secret'

# 根據用戶ID獲取所有微博
def get_weibo_by_user_id(user_id):
    url = 'https://api.weibo.com/2/statuses/user_timeline.json'
    params = {
        'uid': user_id,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    return response.json()['statuses']

# 根據微博ID獲取評論
def get_comments_by_weibo_id(weibo_id):
    url = 'https://api.weibo.com/2/comments/show.json'
    params = {
        'id': weibo_id,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    return response.json()['comments']

# 根據關鍵字獲取微博
def get_weibo_by_keyword(keyword):
    url = 'https://api.weibo.com/2/search/statuses.json'
    params = {
        'q': keyword,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    return response.json()['statuses']

以上代碼可以獲取某個用戶的所有微博數據，包括發帖內容、評論數、轉發數等各種數據，並以JSON數據的形式返回。

4、Python爬取微博評論

如果你只想獲取某個微博的評論數據，那麼可以使用微博API提供的comments介面。代碼如下：

import requests

app_key = 'your_app_key'
app_secret = 'your_app_secret'

# 根據微博ID獲取評論
def get_comments_by_weibo_id(weibo_id):
    url = 'https://api.weibo.com/2/comments/show.json'
    params = {
        'id': weibo_id,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    return response.json()['comments']

以上代碼可以獲取某個微博的所有評論數據，並以JSON數據的形式返回。

5、Python爬取微博評論代碼

下面是一個具體的案例，演示如何用Python爬取某個微博的評論數據：

import requests

app_key = 'your_app_key'
app_secret = 'your_app_secret'

# 根據微博ID獲取評論
def get_comments_by_weibo_id(weibo_id):
    url = 'https://api.weibo.com/2/comments/show.json'
    params = {
        'id': weibo_id,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    comments = response.json()['comments']
    while len(comments) < response.json()['total_number']:
        params['max_id'] = comments[-1]['id']
        response = requests.get(url, params=params)
        comments += response.json()['comments']
    return comments

# 爬取某個微博的評論數據
weibo_id = '4479404381472511'
comments = get_comments_by_weibo_id(weibo_id)
for comment in comments:
    print(comment['text'])

以上代碼可以爬取某個微博的所有評論，並把評論的文字內容列印出來。

6、用Python爬取微博熱搜

如果你想要了解當前的熱門話題或者熱門事件，那麼可以爬取微博熱搜榜。代碼如下：

import requests
from bs4 import BeautifulSoup

url = 'https://weibo.com/topgirls'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text)

# 獲取微博熱搜榜
hot_list = soup.select('.td_1')
for hot in hot_list:
    print(hot.get_text())

以上代碼可以爬取微博熱搜榜，包括話題的名稱和熱度值，並把結果列印出來。

7、Python爬取某人所有微博

假設你想要了解某個用戶的所有微博內容，那麼可以使用微博API提供的statuses/user_timeline介面。代碼如下：

import requests

app_key = 'your_app_key'
app_secret = 'your_app_secret'

# 根據用戶ID獲取所有微博
def get_weibo_by_user_id(user_id):
    url = 'https://api.weibo.com/2/statuses/user_timeline.json'
    params = {
        'uid': user_id,
        'count': 100,
        'access_token': app_key + '&' + app_secret
    }
    response = requests.get(url, params=params)
    weibos = response.json()['statuses']
    while len(weibos) < response.json()['total_number']:
        params['page'] += 1
        response = requests.get(url, params=params)
        weibos += response.json()['statuses']
    return weibos

# 爬取某個用戶所有微博
user_id = '5050574794'
weibos = get_weibo_by_user_id(user_id)
for weibo in weibos:
    print(weibo['text'])

以上代碼可以爬取某個用戶的所有微博，並把微博內容列印出來。