python微博爬蟲編寫（微博數據爬取代碼）

本文目錄一覽：

• 1、如何寫爬蟲程序爬取豆瓣網或者新浪微博里的內容
• 2、python 新浪微博爬蟲，求助
• 3、怎樣用python爬新浪微博大V所有數據
• 4、如何用Python寫一個分佈式爬蟲
• 5、如何用python實現爬取微博相冊所有圖片？

如何寫爬蟲程序爬取豆瓣網或者新浪微博里的內容

在面向對象的高級語言中，早已有人將http請求封裝成了類庫，你只需要調下接口，就能獲得目標網頁的源碼。所以程序需要做的就是請求目標url，獲取頁面的源碼，解析html。基本流程是：

獲取目標頁面源碼，方法：調用對應的類庫。

解析html文件，提取出自己想要的信息。方法：正則表達式或者解析html的庫。

按照上述步驟，C++（Qt）涉及的類是：

WebView，它的內核其實就是webkit，所以它就是一個功能原始的瀏覽器，他內置能夠返回頁面源碼的函數，接受一個url的string類型參數，返回一個QString對象。

WebView類有方法能夠處理DOM。

C#（.net）涉及的類是：

WebClient，WebRequest，HttpWebRequest等類，第一個封裝得比較高級，寫法簡單，後面兩個封裝得低級，寫起來麻煩但是用起來靈活，HttpWebRequest是WebRequest的一個子類。

Html Agility Pack。

Python涉及的包是：

urllib，urllib2，前者僅可以接受URL，不能偽裝Header，但是需要用它的一個函數對post數據進行編碼。類似於瀏覽器的有Selenium。

BeautifulSoup。

上面三種相比，python寫法最簡單，操作也靈活，要獲取源碼只要寫一句話就行。字符串處理python也毫不遜色於C#和C++。

python 新浪微博爬蟲，求助

0x00. 起因

因為參加學校大學生創新競賽，研究有關微博博文表達的情緒，需要大量微博博文，而網上無論是國內的某度、csdn，還是國外谷歌、gayhub、codeproject等都找不到想要的程序，沒辦法只能自己寫一個程序了。

ps.在爬盟找到類似的程序，但是是windows下的，並且閉源，而且最終爬取保存的文件用notepad++打開有很多奇怪的問題，所以放棄了。

0x01. 基礎知識

本程序由Python寫成，所以基本的python知識是必須的。另外，如果你有一定的計算機網絡基礎，在前期準備時會有少走很多彎路。

對於爬蟲，需要明確幾點：

1. 對爬取對象分類，可以分為以下幾種：第一種是不需要登錄的，比如博主以前練手時爬的中國天氣網，這種網頁爬取難度較低，建議爬蟲新手爬這類網頁；第二種是需要登錄的，如豆瓣、新浪微博，這些網頁爬取難度較高；第三種獨立於前兩種，你想要的信息一般是動態刷新的，如AJAX或內嵌資源，這種爬蟲難度最大，博主也沒研究過，在此不細舉（據同學說淘寶的商品評論就屬於這類）。

2. 如果同一個數據源有多種形式（比如電腦版、手機版、客戶端等），優先選取較為「純凈的」展現。比如新浪微博，有網頁版，也有手機版，而且手機版可以用電腦瀏覽器訪問，這時我優先選手機版新浪微博。

3. 爬蟲一般是將網頁下載到本地，再通過某些方式提取出感興趣的信息。也就是說，爬取網頁只完成了一半，你還要將你感興趣的信息從下載下來的html文件中提取出來。這時就需要一些xml的知識了，在這個項目中，博主用的是XPath提取信息，另外可以使用XQuery等等其他技術，詳情請訪問w3cschool。

4. 爬蟲應該盡量模仿人類，現在網站反爬機制已經比較發達，從驗證碼到禁IP，爬蟲技術和反爬技術可謂不斷博弈。

0x02. 開始

決定了爬蟲的目標之後，首先應該訪問目標網頁，明確目標網頁屬於上述幾種爬蟲的哪種，另外，記錄為了得到感興趣的信息你需要進行的步驟，如是否需要登錄，如果需要登錄，是否需要驗證碼；你要進行哪些操作才能獲得希望得到的信息，是否需要提交某些表單；你希望得到的信息所在頁面的url有什麼規律等等。

以下博文以博主項目為例，該項目爬取特定新浪微博用戶從註冊至今的所有微博博文和根據關鍵詞爬取100頁微博博文（大約1000條）。

0x03. 收集必要信息

首先訪問目標網頁，發現需要登錄，進入登錄頁面如下新浪微博手機版登錄頁面

注意url後半段有很多形如」%xx」的轉義字符，本文後面將會講到。

從這個頁面可以看到，登錄新浪微博手機版需要填寫賬號、密碼和驗證碼。

這個驗證碼是近期（本文創作於2016.3.11）才需要提供的，如果不需要提供驗證碼的話，將有兩種方法進行登錄。

第一種是填寫賬號密碼之後執行js模擬點擊「登錄」按鈕，博主之前寫過一個Java爬蟲就是利用這個方法，但是現在找不到工程了，在此不再贅述。

第二種需要一定HTTP基礎，提交包含所需信息的HTTP POST請求。我們需要Wireshark 工具來抓取登錄微博時我們發出和接收的數據包。如下圖我抓取了在登錄時發出和接收的數據包Wireshark抓取結果1

在搜索欄提供搜索條件」http」可得到所有http協議數據包，右側info顯示該數據包的縮略信息。圖中藍色一行是POST請求，並且info中有」login」，可以初步判斷這個請求是登錄時發出的第一個數據包，並且這個180.149.153.4應該是新浪微博手機版登錄認證的服務器IP地址，此時我們並沒有任何的cookie。

在序號為30是數據包中有一個從該IP發出的HTTP數據包，裏面有四個Set-Cookie字段，這些cookie將是我們爬蟲的基礎。

Wireshark抓取結果2

早在新浪微博服務器反爬機制升級之前，登錄是不需要驗證碼的，通過提交POST請求，可以拿到這些cookie，在項目源碼中的TestCookie.py中有示例代碼。

ps.如果沒有wireshark或者不想這麼麻煩的話，可以用瀏覽器的開發者工具，以chrome為例，在登錄前打開開發者工具，轉到Network，登錄，可以看到發出和接收的數據，登錄完成後可以看到cookies，如下圖chrome開發者工具

接下來訪問所需頁面，查看頁面url是否有某種規律。由於本項目目標之一是獲取某用戶的全部微博，所以直接訪問該用戶的微博頁面，以央視新聞 為例。

央視新聞1

圖為央視新聞微博第一頁，觀察該頁面的url可以發現，新浪微博手機版的微博頁面url組成是 「weibo.cn/(displayID)?page=(pagenum)」 。這將成為我們爬蟲拼接url的依據。

接下來查看網頁源碼，找到我們希望得到的信息的位置。打開瀏覽器開發者工具，直接定位某條微博，可以發現它的位置，如下所示。

xpath

觀察html代碼發現，所有的微博都在div標籤里，並且這個標籤里有兩個屬性，其中class屬性為」c」，和一個唯一的id屬性值。得到這個信息有助於將所需信息提取出來。

另外，還有一些需要特別注意的因素

* 微博分為原創微博和轉發微博

* 按照發佈時間至當前時間的差距，在頁面上有」MM分鐘前」、」今天HH:MM」、」mm月dd日 HH:MM」、」yyyy-mm-dd HH:MM:SS」等多種顯示時間的方式* 手機版新浪微博一個頁面大約顯示10條微博，所以要注意對總共頁數進行記錄以上幾點都是細節，在爬蟲和提取的時候需要仔細考慮。

0x04. 編碼

1.爬取用戶微博

本項目開發語言是Python 2.7，項目中用了一些第三方庫，第三方庫可以用pip的方法添加。

既然程序自動登錄的想法被驗證碼擋住了，想要訪問特定用戶微博頁面，只能使用者提供cookies了。

首先用到的是Python的request模塊，它提供了帶cookies的url請求。

import request

print request.get(url, cookies=cookies).content使用這段代碼就可以打印帶cookies的url請求頁面結果。

首先取得該用戶微博頁面數，通過檢查網頁源碼，查找到表示頁數的元素，通過XPath等技術提取出頁數。

頁數

項目使用lxml模塊對html進行XPath提取。

首先導入lxml模塊，在項目里只用到了etree，所以from lxml import etree

然後利用下面的方法返回頁數

def getpagenum(self):

url = self.geturl(pagenum=1)

html = requests.get(url, cookies=self.cook).content # Visit the first page to get the page number.

selector = etree.HTML(html)

pagenum = selector.xpath(‘//input[@name=”mp”]/@value’)[0]

return int(pagenum)

接下來就是不斷地拼接url-訪問url-下載網頁。

需要注意的是，由於新浪反爬機制的存在，同一cookies訪問頁面過於「頻繁」的話會進入類似於「冷卻期」，即返回一個無用頁面，通過分析該無用頁面發現，這個頁面在特定的地方會出現特定的信息，通過XPath技術來檢查這個特定地方是否出現了特定信息即可判斷該頁面是否對我們有用。

def ispageneeded(html):

selector = etree.HTML(html)

try:

title = selector.xpath(‘//title’)[0]

except:

return False

return title.text != ‘微博廣場’ and title.text != ‘微博’

如果出現了無用頁面，只需簡單地重新訪問即可，但是通過後期的實驗發現，如果長期處於過頻訪問，返回的頁面將全是無用頁面，程序也將陷入死循環。為了避免程序陷入死循環，博主設置了嘗試次數閾值trycount，超過這個閾值之後方法自動返回。

下面代碼片展示了單線程爬蟲的方法。

def startcrawling(self, startpage=1, trycount=20):

attempt = 0

try:

os.mkdir(sys.path[0] + ‘/Weibo_raw/’ + self.wanted)except Exception, e:

print str(e)

isdone = False

while not isdone and attempt trycount:

try:

pagenum = self.getpagenum()

isdone = True

except Exception, e:

attempt += 1

if attempt == trycount:

return False

i = startpage

while i = pagenum:

attempt = 0

isneeded = False

html = ”

while not isneeded and attempt trycount:

html = self.getpage(self.geturl(i))

isneeded = self.ispageneeded(html)

if not isneeded:

attempt += 1

if attempt == trycount:

return False

self.savehtml(sys.path[0] + ‘/Weibo_raw/’ + self.wanted + ‘/’ + str(i) + ‘.txt’, html)print str(i) + ‘/’ + str(pagenum – 1)

i += 1

return True

考慮到程序的時間效率，在寫好單線程爬蟲之後，博主也寫了多線程爬蟲版本，基本思想是將微博頁數除以線程數，如一個微博用戶有100頁微博，程序開10個線程，那麼每個線程只負責10個頁面的爬取，其他基本思想跟單線程類似，只需仔細處理邊界值即可，在此不再贅述，感興趣的同學可以直接看代碼。另外，由於多線程的效率比較高，並發量特別大，所以服務器很容易就返回無效頁面，此時trycount的設置就顯得更重要了。博主在寫這篇微博的時候，用一個新的cookies，多線程爬取現場測試了一下爬取北京郵電大學的微博，3976條微博全部爬取成功並提取博文，用時僅15s，實際可能跟cookies的新舊程度和網絡環境有關，命令行設置如下，命令行意義在項目網址里有說明python main.py _T_WM=xxx; SUHB=xxx; SUB=xxx; gsid_CTandWM=xxx u bupt m 20 20爬取的工作以上基本介紹結束，接下來就是爬蟲的第二部分，解析了。由於項目中提供了多線程爬取方法，而多線程一般是無序的，但微博博文是依靠時間排序的，所以項目採用了一種折衷的辦法，將下載完成的頁面保存在本地文件系統，每個頁面以其頁號為文件名，待爬取的工作結束後，再遍歷文件夾內所有文件並解析。

通過前面的觀察，我們已經了解到微博博文存在的標籤有什麼特點了，利用XPath技術，將這個頁面里所有有這個特點的標籤全部提取出來已經不是難事了。

在這再次提醒，微博分為轉發微博和原創微博、時間表示方式。另外，由於我們的研究課題僅對微博文本感興趣，所以配圖不考慮。

def startparsing(self, parsingtime=datetime.datetime.now()):

basepath = sys.path[0] + ‘/Weibo_raw/’ + self.uidfor filename in os.listdir(basepath):

if filename.startswith(‘.’):

continue

path = basepath + ‘/’ + filename

f = open(path, ‘r’)

html = f.read()

selector = etree.HTML(html)

weiboitems = selector.xpath(‘//div[@class=”c”][@id]’)for item in weiboitems:

weibo = Weibo()

weibo.id = item.xpath(‘./@id’)[0]

cmt = item.xpath(‘./div/span[@class=”cmt”]’)if len(cmt) != 0:

weibo.isrepost = True

weibo.content = cmt[0].text

else:

weibo.isrepost = False

ctt = item.xpath(‘./div/span[@class=”ctt”]’)[0]

if ctt.text is not None:

weibo.content += ctt.text

for a in ctt.xpath(‘./a’):

if a.text is not None:

weibo.content += a.text

if a.tail is not None:

weibo.content += a.tail

if len(cmt) != 0:

reason = cmt[1].text.split(u’\xa0′)

if len(reason) != 1:

weibo.repostreason = reason[0]

ct = item.xpath(‘./div/span[@class=”ct”]’)[0]

time = ct.text.split(u’\xa0′)[0]

weibo.time = self.gettime(self, time, parsingtime)self.weibos.append(weibo.__dict__)

f.close()

方法傳遞的參數parsingtime的設置初衷是，開發前期爬取和解析可能不是同時進行的（並不是嚴格的「同時」），微博時間顯示是基於訪問時間的，比如爬取時間是10:00，這時爬取到一條微博顯示是5分鐘前發佈的，但如果解析時間是10:30，那麼解析時間將錯誤，所以應該講解析時間設置為10:00。到後期爬蟲基本開發完畢，爬取工作和解析工作開始時間差距降低，時間差將是爬取過程時長，基本可以忽略。

解析結果保存在一個列表裡，最後將這個列表以json格式保存到文件系統里，刪除過渡文件夾，完成。

def save(self):

f = open(sys.path[0] + ‘/Weibo_parsed/’ + self.uid + ‘.txt’, ‘w’)jsonstr = json.dumps(self.weibos, indent=4, ensure_ascii=False)f.write(jsonstr)

f.close()

2.爬取關鍵詞

同樣的，收集必要的信息。在微博手機版搜索頁面敲入」python」，觀察url，研究其規律。雖然第一頁並無規律，但是第二頁我們發現了規律，而且這個規律可以返回應用於第一頁第一頁

第二頁

應用後第一頁

觀察url可以發現，對於關鍵詞的搜索，url中的變量只有keyword和page（事實上，hideSearchFrame對我們的搜索結果和爬蟲都沒有影響），所以在代碼中我們就可以對這兩個變量進行控制。

另外，如果關鍵詞是中文，那麼url就需要對中文字符進行轉換，如我們在搜索框敲入」開心」並搜索，發現url如下顯示搜索開心

但複製出來卻為

;keyword=%E5%BC%80%E5%BF%83page=1幸好，python的urllib庫有qoute方法處理中文轉換的功能（如果是英文則不做轉換），所以在拼接url前使用這個方法處理一下參數。

另外，考慮到關鍵詞搜索屬於數據收集階段使用的方法，所以在此只提供單線程下載網頁，如有多線程需要，大家可以按照多線程爬取用戶微博的方法自己改寫。最後，對下載下來的網頁進行提取並保存（我知道這樣的模塊設計有點奇怪，打算重(xin)構(qing)時(hao)時再改，就先這樣吧）。

def keywordcrawling(self, keyword):

realkeyword = urllib.quote(keyword) # Handle the keyword in Chinese.

try:

os.mkdir(sys.path[0] + ‘/keywords’)

except Exception, e:

print str(e)

weibos = []

try:

highpoints = re.compile(u'[\U00010000-\U0010ffff]’) # Handle emoji, but it seems doesn’t work.

except re.error:

highpoints = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]’)pagenum = 0

isneeded = False

while not isneeded:

html = self.getpage(‘;page=1’ % realkeyword)isneeded = self.ispageneeded(html)

if isneeded:

selector = etree.HTML(html)

try:

pagenum = int(selector.xpath(‘//input[@name=”mp”]/@value’)[0])except:

pagenum = 1

for i in range(1, pagenum + 1):

try:

isneeded = False

while not isneeded:

html = self.getpage(‘;page=%s’ % (realkeyword, str(i)))isneeded = self.ispageneeded(html)

selector = etree.HTML(html)

weiboitems = selector.xpath(‘//div[@class=”c”][@id]’)for item in weiboitems:

cmt = item.xpath(‘./div/span[@class=”cmt”]’)if (len(cmt)) == 0:

ctt = item.xpath(‘./div/span[@class=”ctt”]’)[0]

if ctt.text is not None:

text = etree.tostring(ctt, method=’text’, encoding=”unicode”)tail = ctt.tail

if text.endswith(tail):

index = -len(tail)

text = text[1:index]

text = highpoints.sub(u’\u25FD’, text) # Emoji handling, seems doesn’t work.

weibotext = text

weibos.append(weibotext)

print str(i) + ‘/’ + str(pagenum)

except Exception, e:

print str(e)

f = open(sys.path[0] + ‘/keywords/’ + keyword + ‘.txt’, ‘w’)try:

f.write(json.dumps(weibos,indent=4,ensure_ascii=False))except Exception,ex:

print str(ex)

finally:

f.close()

博主之前從未寫過任何爬蟲程序，為了獲取新浪微博博文，博主先後寫了3個不同的爬蟲程序，有Python，有Java，爬蟲不能用了是很正常的，不要氣餒，爬蟲程序和反爬機制一直都在不斷博弈中，道高一尺魔高一丈。

另. 轉載請告知博主，如果覺得博主帥的話就可以不用告知了

怎樣用python爬新浪微博大V所有數據

我是個微博重度用戶，工作學習之餘喜歡刷刷timeline看看有什麼新鮮事發生，也因此認識了不少高質量的原創大V，有分享技術資料的，比如好東西傳送門；有時不時給你一點人生經驗的，比如石康；有高產的段子手，比如銀教授；有黃圖黃段子小能手，比如阿良哥哥 木木蘿希木 初犬餅…

好吧，我承認，爬黃圖黃段子才是我的真實目的，前三個是掩人耳目的…（捂臉，跑開）

另外說點題外話，我一開始想使用Sina Weibo API來獲取微博內容，但後來發現新浪微博的API限制實在太多，大家感受一下：

只能獲取當前授權的用戶（就是自己），而且只能返回最新的5條，WTF！

所以果斷放棄掉這條路，改為『生爬』，因為PC端的微博是Ajax的動態加載，爬取起來有些困難，我果斷知難而退，改為對移動端的微博進行爬取，因為移動端的微博可以通過分頁爬取的方式來一次性爬取所有微博內容，這樣工作就簡化了不少。

最後實現的功能：

輸入要爬取的微博用戶的user_id，獲得該用戶的所有微博

文字內容保存到以%user_id命名文本文件中，所有高清原圖保存在weibo_image文件夾中

具體操作：

首先我們要獲得自己的cookie，這裡只說chrome的獲取方法。

用chrome打開新浪微博移動端

option+command+i調出開發者工具

點開Network，將Preserve log選項選中

輸入賬號密碼，登錄新浪微博

找到m.weibo.cn-Headers-Cookie，把cookie複製到代碼中的#your cookie處

cookie

然後再獲取你想爬取的用戶的user_id，這個我不用多說啥了吧，點開用戶主頁，地址欄裏面那個號碼就是user_id

將python代碼保存到weibo_spider.py文件中

定位到當前目錄下後，命令行執行python weibo_spider.py user_id

當然如果你忘記在後面加user_id，執行的時候命令行也會提示你輸入

最後執行結束

iTerm

小問題：在我的測試中，有的時候會出現圖片下載失敗的問題，具體原因還不是很清楚，可能是網速問題，因為我宿舍的網速實在太不穩定了，當然也有可能是別的問題，所以在程序根目錄下面，我還生成了一個userid_imageurls的文本文件，裏面存儲了爬取的所有圖片的下載鏈接，如果出現大片的圖片下載失敗，可以將該鏈接群一股腦導進迅雷等下載工具進行下載。

另外，我的系統是OSX EI Capitan10.11.2，Python的版本是2.7，依賴庫用sudo pip install XXXX就可以安裝，具體配置問題可以自行stackoverflow，這裡就不展開講了。

下面我就給出實現代碼（嚴肅臉）

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

#-*-coding:utf8-*-

import re

import string

import sys

import os

import urllib

import urllib2

from bs4 import BeautifulSoup

import requests

from lxml import etree

reload(sys)

sys.setdefaultencoding(‘utf-8’)

if(len(sys.argv) =2):

user_id = (int)(sys.argv[1])

else:

user_id = (int)(raw_input(u”請輸入user_id: “))

cookie = {“Cookie”: “#your cookie”}

url = ‘d?filter=1page=1’%user_id

html = requests.get(url, cookies = cookie).content

selector = etree.HTML(html)

pageNum = (int)(selector.xpath(‘//input[@name=”mp”]’)[0].attrib[‘value’])

result = “”

urllist_set = set()

word_count = 1

image_count = 1

print u’爬蟲準備就緒…’

for page in range(1,pageNum+1):

#獲取lxml頁面

url = ‘hu/%d?filter=1page=%d’%(user_id,page)

lxml = requests.get(url, cookies = cookie).content

#文字爬取

selector = etree.HTML(lxml)

content = selector.xpath(‘//span[@class=”ctt”]’)

for each in content:

text = each.xpath(‘string(.)’)

if word_count = 4:

text = “%d :”%(word_count-3) +text+”\n\n”

else :

text = text+”\n\n”

result = result + text

word_count += 1

#圖片爬取

soup = BeautifulSoup(lxml, “lxml”)

urllist = soup.find_all(‘a’,href=re.compile(r’^mblog/oripic’,re.I))

first = 0

for imgurl in urllist:

urllist_set.add(requests.get(imgurl[‘href’], cookies = cookie).url)

image_count +=1

fo = open(“/Users/Personals/%s”%user_id, “wb”)

fo.write(result)

word_path=os.getcwd()+’/%d’%user_id

print u’文字微博爬取完畢’

link = “”

fo2 = open(“/Users/Personals/%s_imageurls”%user_id, “wb”)

for eachlink in urllist_set:

link = link + eachlink +”\n”

fo2.write(link)

print u’圖片鏈接爬取完畢’

if not urllist_set:

print u’該頁面中不存在圖片’

else:

#下載圖片,保存在當前目錄的pythonimg文件夾下

image_path=os.getcwd()+’/weibo_image’

if os.path.exists(image_path) is False:

os.mkdir(image_path)

x=1

for imgurl in urllist_set:

temp= image_path + ‘/%s.jpg’ % x

print u’正在下載第%s張圖片’ % x

try:

urllib.urlretrieve(urllib2.urlopen(imgurl).geturl(),temp)

except:

print u”該圖片下載失敗:%s”%imgurl

x+=1

print u’原創微博爬取完畢，共%d條，保存路徑%s’%(word_count-4,word_path)

print u’微博圖片爬取完畢，共%d張，保存路徑%s’%(image_count-1,image_path)

如何用Python寫一個分佈式爬蟲

分佈式是指數據庫嗎？我猜測你需要的是並發。。。

用協程+進程寫爬蟲，比多線程好，網上教程大多還在用多線程。。。

如何用python實現爬取微博相冊所有圖片？

我建議用scrapy，爬蟲框架來爬取。三步就可以，其中第二步是核心

定義item類

開發spider類

開發pipeline

你可以在』瘋狂python講義『第二十章學習爬蟲