python爬取微博博主的博文（爬蟲抓取微博內容）

本文目錄一覽：

• 1、如何通過python調用新浪微博的API來爬取數據
• 2、如何用python抓微博數據
• 3、怎樣用python爬新浪微博大V所有數據
• 4、python 新浪微博爬蟲，求助

如何通過python調用新浪微博的API來爬取數據

1：安裝python(這個不多說啦)

2：下載新浪微博SDK的python包，解壓為weibopy目錄

3：申請AppKey，

流程：

1：通過oAuth認證

按我的理解簡化如下：

用戶在新浪微博給的頁面輸入賬號密碼，然後微博給應用一個PIN碼，這樣應用通過PIN碼才有權限訪問該用戶的信息，而應用在整個過程中是接觸不到密碼的，所以用戶覺得很安全，後果很滿意

2：獲得認證之後，就可以使用微博SDK提供的API獲得信息啦

3：如果想設計web或者客戶端應用的話，那就繼續加個GUI好啦(未完成)

代碼：

#!/usr/bin/python

import webbrowser

from weibopy.auth import OAuthHandler

from weibopy.api import API

AppKey = ‘2525355147’

AppSecret = ‘2e2c7bcdfc362eace266d1f2bf83fe6b’

my_auth = OAuthHandler(AppKey , AppSecret)

webbrowser.open(my_auth.get_authorization_url())

verifier = raw_input(‘PIN: ‘).strip()

my_auth.get_access_token(verifier)

my_api = API(my_auth)

for comment in my_api.mentions():

object = comment

id = object.__getattribute__(“id”)

text = object.__getattribute__(“text”)

print str(id) + ” : ” + text

如何用python抓微博數據

用Python寫爬蟲爬取微博數據的思路如下：

1、用base64加密用戶名之後仿造一個預登陸，用正則匹配得到各項參數。

2、用上一步里得到的參數，拼接密碼明文，再用RSA加密得到密文，並構造POST的form data。

3、使用構造好的form data仿造登錄請求

4、用正則匹配獲得跳轉的目標鏈接。

5、為了保持登陸，用cookiejar一類的工具綁定一個cookie就行了。

推薦學習《Python教程》。

怎樣用python爬新浪微博大V所有數據

先上結論，通過公開的api如果想爬到某大v的所有數據，需要滿足以下兩個條件：

1、在你的爬蟲開始運行時，該大v的所有微博發布量沒有超過回溯查詢的上限，新浪是2000，twitter是3200。

2、爬蟲程序必須不間斷運行。

新浪微博的api基本完全照搬twitter，其中接口的參數特性與底層的NoSQL密不可分，建議先看點Nosql數據庫的設計理念有助於更好的理解api設計。

一般來說，如果決定爬某個大v，第一步先試獲取該用戶的基本信息，中間會包含一條最新的status，記下其中的id號作為基準，命名為baseId。

接口中最重要的兩個參數：

since_id：返回ID比since_id大的微博（即比since_id時間晚的微博），默認為0。

max_id：返回ID小於或等於max_id的微博，默認為0。

出於各種原因，獲取statuses的接口，固定為按id降序排列（scan_index_forward=false），即最新的statuses返回在前。假設該微博第一天上線，就一個用戶，發了一百條，id是1到100。而你在該用戶發了第50條的時候開始運行的爬蟲，即baseId=50。

假設按每次獲取10條歷史數據遞歸，先將max_id設為baseId，獲取該用戶id為41－50的微博，再將max_id設為41重複循環，直到返回微博數量為1或0。這步沒有問題。

獲取用戶最新的statuses就有些蛋疼了，since_id＝50，同樣獲取10條數據，返回的並不是id值為51－60的數據，而是100-91的數據。簡單說就是你沒法從since_id逐步更新到用戶當前status，而是得一口氣從用戶當前status更新到上次爬蟲運行時得到的最後一條status。假設你的爬蟲一個月才運行一次，該用戶在這期間發了2300條微博，根據限制你只能更新2000條，這其中最老的300條在你的系統內就會出現“斷檔”。

最後一條，以上只針對公開的api，stackoverflow上twitter API可以申請權限突破數量限制和更改排序機制，微博也應該有類似機制。

python 新浪微博爬蟲，求助

0x00. 起因

因為參加學校大學生創新競賽，研究有關微博博文表達的情緒，需要大量微博博文，而網上無論是國內的某度、csdn，還是國外谷歌、gayhub、codeproject等都找不到想要的程序，沒辦法只能自己寫一個程序了。

ps.在爬盟找到類似的程序，但是是windows下的，並且閉源，而且最終爬取保存的文件用notepad++打開有很多奇怪的問題，所以放棄了。

0x01. 基礎知識

本程序由Python寫成，所以基本的python知識是必須的。另外，如果你有一定的計算機網絡基礎，在前期準備時會有少走很多彎路。

對於爬蟲，需要明確幾點：

1. 對爬取對象分類，可以分為以下幾種：第一種是不需要登錄的，比如博主以前練手時爬的中國天氣網，這種網頁爬取難度較低，建議爬蟲新手爬這類網頁；第二種是需要登錄的，如豆瓣、新浪微博，這些網頁爬取難度較高；第三種獨立於前兩種，你想要的信息一般是動態刷新的，如AJAX或內嵌資源，這種爬蟲難度最大，博主也沒研究過，在此不細舉（據同學說淘寶的商品評論就屬於這類）。

2. 如果同一個數據源有多種形式（比如電腦版、手機版、客戶端等），優先選取較為“純凈的”展現。比如新浪微博，有網頁版，也有手機版，而且手機版可以用電腦瀏覽器訪問，這時我優先選手機版新浪微博。

3. 爬蟲一般是將網頁下載到本地，再通過某些方式提取出感興趣的信息。也就是說，爬取網頁只完成了一半，你還要將你感興趣的信息從下載下來的html文件中提取出來。這時就需要一些xml的知識了，在這個項目中，博主用的是XPath提取信息，另外可以使用XQuery等等其他技術，詳情請訪問w3cschool。

4. 爬蟲應該盡量模仿人類，現在網站反爬機制已經比較發達，從驗證碼到禁IP，爬蟲技術和反爬技術可謂不斷博弈。

0x02. 開始

決定了爬蟲的目標之後，首先應該訪問目標網頁，明確目標網頁屬於上述幾種爬蟲的哪種，另外，記錄為了得到感興趣的信息你需要進行的步驟，如是否需要登錄，如果需要登錄，是否需要驗證碼；你要進行哪些操作才能獲得希望得到的信息，是否需要提交某些表單；你希望得到的信息所在頁面的url有什麼規律等等。

以下博文以博主項目為例，該項目爬取特定新浪微博用戶從註冊至今的所有微博博文和根據關鍵詞爬取100頁微博博文（大約1000條）。

0x03. 收集必要信息

首先訪問目標網頁，發現需要登錄，進入登錄頁面如下新浪微博手機版登錄頁面

注意url後半段有很多形如”%xx”的轉義字符，本文後面將會講到。

從這個頁面可以看到，登錄新浪微博手機版需要填寫賬號、密碼和驗證碼。

這個驗證碼是近期（本文創作於2016.3.11）才需要提供的，如果不需要提供驗證碼的話，將有兩種方法進行登錄。

第一種是填寫賬號密碼之後執行js模擬點擊“登錄”按鈕，博主之前寫過一個Java爬蟲就是利用這個方法，但是現在找不到工程了，在此不再贅述。

第二種需要一定HTTP基礎，提交包含所需信息的HTTP POST請求。我們需要Wireshark 工具來抓取登錄微博時我們發出和接收的數據包。如下圖我抓取了在登錄時發出和接收的數據包Wireshark抓取結果1

在搜索欄提供搜索條件”http”可得到所有http協議數據包，右側info顯示該數據包的縮略信息。圖中藍色一行是POST請求，並且info中有”login”，可以初步判斷這個請求是登錄時發出的第一個數據包，並且這個180.149.153.4應該是新浪微博手機版登錄認證的服務器IP地址，此時我們並沒有任何的cookie。

在序號為30是數據包中有一個從該IP發出的HTTP數據包，裡面有四個Set-Cookie字段，這些cookie將是我們爬蟲的基礎。

Wireshark抓取結果2

早在新浪微博服務器反爬機制升級之前，登錄是不需要驗證碼的，通過提交POST請求，可以拿到這些cookie，在項目源碼中的TestCookie.py中有示例代碼。

ps.如果沒有wireshark或者不想這麼麻煩的話，可以用瀏覽器的開發者工具，以chrome為例，在登錄前打開開發者工具，轉到Network，登錄，可以看到發出和接收的數據，登錄完成後可以看到cookies，如下圖chrome開發者工具

接下來訪問所需頁面，查看頁面url是否有某種規律。由於本項目目標之一是獲取某用戶的全部微博，所以直接訪問該用戶的微博頁面，以央視新聞 為例。

央視新聞1

圖為央視新聞微博第一頁，觀察該頁面的url可以發現，新浪微博手機版的微博頁面url組成是 “weibo.cn/(displayID)?page=(pagenum)” 。這將成為我們爬蟲拼接url的依據。

接下來查看網頁源碼，找到我們希望得到的信息的位置。打開瀏覽器開發者工具，直接定位某條微博，可以發現它的位置，如下所示。

xpath

觀察html代碼發現，所有的微博都在div標籤里，並且這個標籤里有兩個屬性，其中class屬性為”c”，和一個唯一的id屬性值。得到這個信息有助於將所需信息提取出來。

另外，還有一些需要特別注意的因素

* 微博分為原創微博和轉發微博

* 按照發布時間至當前時間的差距，在頁面上有”MM分鐘前”、”今天HH:MM”、”mm月dd日 HH:MM”、”yyyy-mm-dd HH:MM:SS”等多種顯示時間的方式* 手機版新浪微博一個頁面大約顯示10條微博，所以要注意對總共頁數進行記錄以上幾點都是細節，在爬蟲和提取的時候需要仔細考慮。

0x04. 編碼

1.爬取用戶微博

本項目開發語言是Python 2.7，項目中用了一些第三方庫，第三方庫可以用pip的方法添加。

既然程序自動登錄的想法被驗證碼擋住了，想要訪問特定用戶微博頁面，只能使用者提供cookies了。

首先用到的是Python的request模塊，它提供了帶cookies的url請求。

import request

print request.get(url, cookies=cookies).content使用這段代碼就可以打印帶cookies的url請求頁面結果。

首先取得該用戶微博頁面數，通過檢查網頁源碼，查找到表示頁數的元素，通過XPath等技術提取出頁數。

頁數

項目使用lxml模塊對html進行XPath提取。

首先導入lxml模塊，在項目里只用到了etree，所以from lxml import etree

然後利用下面的方法返回頁數

def getpagenum(self):

url = self.geturl(pagenum=1)

html = requests.get(url, cookies=self.cook).content # Visit the first page to get the page number.

selector = etree.HTML(html)

pagenum = selector.xpath(‘//input[@name=”mp”]/@value’)[0]

return int(pagenum)

接下來就是不斷地拼接url-訪問url-下載網頁。

需要注意的是，由於新浪反爬機制的存在，同一cookies訪問頁面過於“頻繁”的話會進入類似於“冷卻期”，即返回一個無用頁面，通過分析該無用頁面發現，這個頁面在特定的地方會出現特定的信息，通過XPath技術來檢查這個特定地方是否出現了特定信息即可判斷該頁面是否對我們有用。

def ispageneeded(html):

selector = etree.HTML(html)

try:

title = selector.xpath(‘//title’)[0]

except:

return False

return title.text != ‘微博廣場’ and title.text != ‘微博’

如果出現了無用頁面，只需簡單地重新訪問即可，但是通過後期的實驗發現，如果長期處於過頻訪問，返回的頁面將全是無用頁面，程序也將陷入死循環。為了避免程序陷入死循環，博主設置了嘗試次數閾值trycount，超過這個閾值之後方法自動返回。

下面代碼片展示了單線程爬蟲的方法。

def startcrawling(self, startpage=1, trycount=20):

attempt = 0

try:

os.mkdir(sys.path[0] + ‘/Weibo_raw/’ + self.wanted)except Exception, e:

print str(e)

isdone = False

while not isdone and attempt trycount:

try:

pagenum = self.getpagenum()

isdone = True

except Exception, e:

attempt += 1

if attempt == trycount:

return False

i = startpage

while i = pagenum:

attempt = 0

isneeded = False

html = ”

while not isneeded and attempt trycount:

html = self.getpage(self.geturl(i))

isneeded = self.ispageneeded(html)

if not isneeded:

attempt += 1

if attempt == trycount:

return False

self.savehtml(sys.path[0] + ‘/Weibo_raw/’ + self.wanted + ‘/’ + str(i) + ‘.txt’, html)print str(i) + ‘/’ + str(pagenum – 1)

i += 1

return True

考慮到程序的時間效率，在寫好單線程爬蟲之後，博主也寫了多線程爬蟲版本，基本思想是將微博頁數除以線程數，如一個微博用戶有100頁微博，程序開10個線程，那麼每個線程只負責10個頁面的爬取，其他基本思想跟單線程類似，只需仔細處理邊界值即可，在此不再贅述，感興趣的同學可以直接看代碼。另外，由於多線程的效率比較高，並發量特別大，所以服務器很容易就返回無效頁面，此時trycount的設置就顯得更重要了。博主在寫這篇微博的時候，用一個新的cookies，多線程爬取現場測試了一下爬取北京郵電大學的微博，3976條微博全部爬取成功並提取博文，用時僅15s，實際可能跟cookies的新舊程度和網絡環境有關，命令行設置如下，命令行意義在項目網址里有說明python main.py _T_WM=xxx; SUHB=xxx; SUB=xxx; gsid_CTandWM=xxx u bupt m 20 20爬取的工作以上基本介紹結束，接下來就是爬蟲的第二部分，解析了。由於項目中提供了多線程爬取方法，而多線程一般是無序的，但微博博文是依靠時間排序的，所以項目採用了一種折衷的辦法，將下載完成的頁面保存在本地文件系統，每個頁面以其頁號為文件名，待爬取的工作結束後，再遍歷文件夾內所有文件並解析。

通過前面的觀察，我們已經了解到微博博文存在的標籤有什麼特點了，利用XPath技術，將這個頁面里所有有這個特點的標籤全部提取出來已經不是難事了。

在這再次提醒，微博分為轉發微博和原創微博、時間表示方式。另外，由於我們的研究課題僅對微博文本感興趣，所以配圖不考慮。

def startparsing(self, parsingtime=datetime.datetime.now()):

basepath = sys.path[0] + ‘/Weibo_raw/’ + self.uidfor filename in os.listdir(basepath):

if filename.startswith(‘.’):

continue

path = basepath + ‘/’ + filename

f = open(path, ‘r’)

html = f.read()

selector = etree.HTML(html)

weiboitems = selector.xpath(‘//div[@class=”c”][@id]’)for item in weiboitems:

weibo = Weibo()

weibo.id = item.xpath(‘./@id’)[0]

cmt = item.xpath(‘./div/span[@class=”cmt”]’)if len(cmt) != 0:

weibo.isrepost = True

weibo.content = cmt[0].text

else:

weibo.isrepost = False

ctt = item.xpath(‘./div/span[@class=”ctt”]’)[0]

if ctt.text is not None:

weibo.content += ctt.text

for a in ctt.xpath(‘./a’):

if a.text is not None:

weibo.content += a.text

if a.tail is not None:

weibo.content += a.tail

if len(cmt) != 0:

reason = cmt[1].text.split(u’\xa0′)

if len(reason) != 1:

weibo.repostreason = reason[0]

ct = item.xpath(‘./div/span[@class=”ct”]’)[0]

time = ct.text.split(u’\xa0′)[0]

weibo.time = self.gettime(self, time, parsingtime)self.weibos.append(weibo.__dict__)

f.close()

方法傳遞的參數parsingtime的設置初衷是，開發前期爬取和解析可能不是同時進行的（並不是嚴格的“同時”），微博時間顯示是基於訪問時間的，比如爬取時間是10:00，這時爬取到一條微博顯示是5分鐘前發布的，但如果解析時間是10:30，那麼解析時間將錯誤，所以應該講解析時間設置為10:00。到後期爬蟲基本開發完畢，爬取工作和解析工作開始時間差距降低，時間差將是爬取過程時長，基本可以忽略。

解析結果保存在一個列表裡，最後將這個列表以json格式保存到文件系統里，刪除過渡文件夾，完成。

def save(self):

f = open(sys.path[0] + ‘/Weibo_parsed/’ + self.uid + ‘.txt’, ‘w’)jsonstr = json.dumps(self.weibos, indent=4, ensure_ascii=False)f.write(jsonstr)

f.close()

2.爬取關鍵詞

同樣的，收集必要的信息。在微博手機版搜索頁面敲入”python”，觀察url，研究其規律。雖然第一頁並無規律，但是第二頁我們發現了規律，而且這個規律可以返回應用於第一頁第一頁

第二頁

應用後第一頁

觀察url可以發現，對於關鍵詞的搜索，url中的變量只有keyword和page（事實上，hideSearchFrame對我們的搜索結果和爬蟲都沒有影響），所以在代碼中我們就可以對這兩個變量進行控制。

另外，如果關鍵詞是中文，那麼url就需要對中文字符進行轉換，如我們在搜索框敲入”開心”並搜索，發現url如下顯示搜索開心

但複製出來卻為

;keyword=%E5%BC%80%E5%BF%83page=1幸好，python的urllib庫有qoute方法處理中文轉換的功能（如果是英文則不做轉換），所以在拼接url前使用這個方法處理一下參數。

另外，考慮到關鍵詞搜索屬於數據收集階段使用的方法，所以在此只提供單線程下載網頁，如有多線程需要，大家可以按照多線程爬取用戶微博的方法自己改寫。最後，對下載下來的網頁進行提取並保存（我知道這樣的模塊設計有點奇怪，打算重(xin)構(qing)時(hao)時再改，就先這樣吧）。

def keywordcrawling(self, keyword):

realkeyword = urllib.quote(keyword) # Handle the keyword in Chinese.

try:

os.mkdir(sys.path[0] + ‘/keywords’)

except Exception, e:

print str(e)

weibos = []

try:

highpoints = re.compile(u'[\U00010000-\U0010ffff]’) # Handle emoji, but it seems doesn’t work.

except re.error:

highpoints = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]’)pagenum = 0

isneeded = False

while not isneeded:

html = self.getpage(‘;page=1’ % realkeyword)isneeded = self.ispageneeded(html)

if isneeded:

selector = etree.HTML(html)

try:

pagenum = int(selector.xpath(‘//input[@name=”mp”]/@value’)[0])except:

pagenum = 1

for i in range(1, pagenum + 1):

try:

isneeded = False

while not isneeded:

html = self.getpage(‘;page=%s’ % (realkeyword, str(i)))isneeded = self.ispageneeded(html)

selector = etree.HTML(html)

weiboitems = selector.xpath(‘//div[@class=”c”][@id]’)for item in weiboitems:

cmt = item.xpath(‘./div/span[@class=”cmt”]’)if (len(cmt)) == 0:

ctt = item.xpath(‘./div/span[@class=”ctt”]’)[0]

if ctt.text is not None:

text = etree.tostring(ctt, method=’text’, encoding=”unicode”)tail = ctt.tail

if text.endswith(tail):

index = -len(tail)

text = text[1:index]

text = highpoints.sub(u’\u25FD’, text) # Emoji handling, seems doesn’t work.

weibotext = text

weibos.append(weibotext)

print str(i) + ‘/’ + str(pagenum)

except Exception, e:

print str(e)

f = open(sys.path[0] + ‘/keywords/’ + keyword + ‘.txt’, ‘w’)try:

f.write(json.dumps(weibos,indent=4,ensure_ascii=False))except Exception,ex:

print str(ex)

finally:

f.close()

博主之前從未寫過任何爬蟲程序，為了獲取新浪微博博文，博主先後寫了3個不同的爬蟲程序，有Python，有Java，爬蟲不能用了是很正常的，不要氣餒，爬蟲程序和反爬機制一直都在不斷博弈中，道高一尺魔高一丈。

另. 轉載請告知博主，如果覺得博主帥的話就可以不用告知了