python數據分析微博熱門（基於python的微博數據採集）

• 1、怎麼利用python或R分析我的微博或者朋友圈
• 2、我要做一個基於Python的微博數據抓取和用戶特徵分析系統開發如何做？愛樂惠
• 3、爬蟲實戰3：用微博大數據帶你看《乘風破浪的姐姐》
• 4、怎樣用python爬新浪微博大V所有數據
• 5、如何用python抓微博數據

一. 你在瀏覽微博的時候，受到哪些用戶的影響。

1. 抓取你微博的關注列表，通過一定的條件篩選一部分用戶，繼續抓他們的關注列表，這樣抓兩到三層就行了，不然數據太大了。

2. 對抓取的用戶進行影響力建模，例如，用戶最近兩個月的微博的轉發評論和點贊數據

3. 最後分析出哪些用戶對你的影響最大

二. 基於地理位置的分析

1. 抓取以某個城市為發微博的地理位置的微博數據，並且抓取發微博的用戶的相關信息

2. 對數據清洗，通過用戶資料篩選出是否土著居民，還是旅遊出差之類的數據

3. 對數據分析，通過發微博的時間啊，某個地點發微博的次數啊，發微博出現最多的關鍵詞

這些應該能得到一些有意思的數據

三. 自然語言處理

微博的大量的文本數據可以做自然語言處理，情感分析之類的很多研究

四. 熱點事件追蹤

1. 通過關鍵詞的搜索，跟蹤熱點事件

2. 很多熱點事情都是某個微博開始發酵的，可以抓取轉發路徑，找出哪些是重要的轉發節點，

抓取評論內容，看看網友對這件事情的態度。

3. 監控微博博主的粉絲增加數量的變化

五. 計算機視覺相關研究

1. 抓取微博出現的圖片，做計算視覺相關的研究

2. 抓取微博用戶的頭像，做人臉識別之類的，應該很有意思。

六. 個人微博數據分析

1. 發微博時間

2. 微博出現的關鍵詞

3. 你點過哪些贊，評論過哪些微博。

4. 和哪些人發過私信，這些都可以研究，關鍵是找到合適的模型

我曾經曾經有做這方面東西的想法，微博API的單位時間調用次數限制成了最大的障礙，至於你想通過爬蟲大量爬網頁抓取微博信息，我估計微博的安審力量不會那麼差。再就是微博HTML頁面的數據限制量本來就比較小。最後就是微博現在已經沒有市場價值了，大多數人都已經不用微博了。

今年上半年最火的綜藝非《乘風破浪的姐姐》（簡稱浪姐）莫屬，要不是趕上熱搜整改，目測第一期播出後都爆好幾個熱搜了。不得不說，姐姐們的業務能力真的可！感覺比小白花們的選秀有意思多了~

看看鐘麗緹、伊能靜這兩位五十多歲的姐姐，身材好，保養佳，能唱能跳，完全看不出歲月在她們身上留下的痕迹，凍齡美人不是吹的！看到她們，就覺得每一種年齡都有自己的精彩，好像也沒那麼害怕變老了呢。別人的50歲，活的比我們的25歲還美麗！

話不多說，接下來，我想通過微博相關數據對姐姐們進行一次簡單的分析，順帶聊一聊我對各位姐姐們的初印象。

自從攻破了 豆瓣 、 拉勾 和鏈家的（基礎）爬蟲，我的爬蟲魔爪又伸向了微博。這次，我主要爬取了30位小姐姐們的微博個人主頁信息和2019年以來的微博內容以及每條微博相對應的轉贊評數據，嘗試通過微博數據分析《乘風破浪》這個節目對小姐姐們的影響。

數據來源時間：2020年06月17日22:00

爬取的信息包括：

根據爬取數據時各位姐姐的微博粉絲數量級，我將姐姐們分為了三級梯隊，畢竟以流量粉絲的視角，微博粉絲數的多少就是人氣高低的象徵。

位列第一梯隊的一共有5位姐姐，這5位姐姐可謂是斷層式人氣，因為第二梯隊的上限只有1100w，比第一梯隊的下限還少500w。

下面我就以我常年出入各大論壇娛樂版塊的經驗聊聊我對這些姐姐們的初印象。

其中人氣王是主持人出身的吳昕，粉絲量高達3800w！我對吳昕的印象是：湖南衛視強捧的主持人（又想起來當年看芒果主持人大賽時我還是杜海濤的粉絲）、跟潘瑋柏組了一個很火的CP叫“無尾熊”、在黃磊那部《深夜食堂》里的演技超尬、在閑魚上把鍾漢良送她的禮物掛出來低價轉賣……

個人對她無感（偏負面）。

然後是黃聖依（演員、歌手）和王麗坤（演員），這兩位的人氣是我沒想到的，可能我多少低估了星女郎的實力吧，我對黃聖依的印象是：《功夫》里美的令人驚艷、《紅蘋果樂園》里雖然尖酸刻薄但顏值吊打女主不知道為何F5大男孩們沒一個看上她的校花、老公是“不信抬頭看，蒼天繞過誰”的鞋拔楊（她真的是這些年來高調的十分突出的三了）、海娃死了嗎咯咯咯咯咯咯噠……以及，我小時候分不清她和劉亦菲。

整體印象：負面。

我對王麗坤的印象是：不熟，貌似跟吳亦凡演過一部我沒看過的劇，還有就是很早之前上綜藝時有一張跳水照片挺火的，號稱”素顏女神“，整體印象：無感。

再然後是伊能靜（歌手、演員）和寧靜（演員）兩位娛樂圈老前輩。對伊能靜，知道一個冷知識就是，她姓伊能。我沒怎麼聽過她的歌，但印象中挺有才華，出過書（文筆不錯）、演過劇，還有就是跟哈林愛情長跑很多年以後離婚，我對當年發布的新聞標題印象很深，是”伊能靜牽手黃維德“，被媒體拍到後曝光，在當年娛樂圈裡也是一則震驚的新聞了，誰能想到最後她卻跟秦昊結了婚呢。

整體印象：無感。

最後是寧靜 ，她在《陽光燦爛的日子》里飾演的米蘭、在《孝庄秘史》里飾演的大玉兒都是非常深入人心的角色，還有《黃河絕戀》、《大宅門》等一系列家喻戶曉的作品，咖位沒的說。不過近年來她被討論的最多的反而是她在綜藝上的表現，在《花兒與少年》里她以耿直著稱，後來我看一些採訪也覺得特別好笑，最經典的名場面當屬下面這段：

簡直笑到我錘牆233333靜姐你會說話就多說點，最好再出一本書！

整體印象：正面。

位列第二梯隊的一共有11位姐姐，這裡面我比較熟的只有金莎、張雨綺和張含韻，勉強加一個選秀系出來的郁可唯。

金莎在《十八歲的天空》里飾演的藍菲琳，就是我心目中小說里的校花範本，讓我想起初中那會兒， 在貼吧追石延楓x藍菲琳的同人文追的不亦樂乎 。她出道時頂着林俊傑小師妹的名號，一首《被風吹過的夏天》幾乎成為了我對學生時代美好夏日的最佳回憶。其實一直覺得她不火很可惜，當年演《神話》里的素素，收穫一票人氣，算是小爆了一陣，但最終還是沒能火起來，哎，不得不說，娛樂圈確實是小火靠捧，大火靠命。

整體印象：正面。

再說張含韻的顏值，放現在101系裡也絕對是超能打的水平，不說C位出道吧，作為門面擔當肯定毫無壓力。以前我對她印象不好，超女時期我是鐵杆筆迷，那時網上鋪天蓋地都是她的負面新聞， 她可能算是第一代“全網黑”的愛豆了。 記得有些稱呼什麼的非常難聽，年少無知的我都被這些消息洗腦成她的路人黑了。現在想想真的很不應該，聽風就是雨的，仔細回憶一下潑的那些髒水似乎都沒實錘，小姑娘當年真的受了不少委屈吧。

不過這事兒之後，廣電對選秀節目選手年齡就做了年滿18周歲的限制，那時她簡直火到全國的中學女生都在模仿她的穿衣打扮的風格，滿大街都在放“酸酸甜甜就是我”，無數少女幻想着成為下一個她。再後來我就沒怎麼關注她了，直到去年她參加聲臨其境，我有被她的台詞和英文驚艷到，有一段是她和韓雪一起表演的，多重角色轉換毫無壓力，一口流利的口語發音也非常標準，哇，小姐姐真的太棒了吧！粉了粉了！

整體印象：負面轉正面。

這兩位甜姐，真的沒法相信前者已經39歲，後者已經31歲了！完完全全女團標配啊！果然美麗的人，無論多少歲都還是美麗的。

最後說下綺綺子——張雨綺小姐姐。我對這姐的印象是：脾氣火爆、超級剛、自嘲看男人的眼光有點差、前夫放着這麼漂亮的老婆不要跑出去嫖娼真是腦子壞掉了、某次紅毯上一襲綠色禮服美到挪不開眼、偷拍的抽煙生圖也是美到無法呼吸、追她的人從這裡排到法國、一克拉一下的戒指不要買，碎鑽不值錢的、推薦愛馬仕黑金好處是買菜方便……從這段來看，我對她的印象已經很明顯了：非常喜歡！

另外，最近看到她當年被記者追問大小S婚禮的事情，那個老娘不屑理你的勁兒真的絕了，我也好想在面對不想回答的問題或者討厭的人時，一個白眼翻上天！啊，誰能想到她那時候才23歲啊我的天，真的是天生一張御姐臉！

誰又能想到她身高只有166公分呢，明明氣場一米八好嗎！還有還有，她居然都是兩個孩子的媽了！真的！不敢！相信！

位列第三梯隊的一共有14位姐姐，大部分都不太熟悉，相對熟的只有被嘲“大嘴猴”（還是嘻悠猴？）的海陸、歌紅人不紅的丁當（《下一站幸福》里她的歌首首都是催淚神曲，我可太愛了）、演過玉漱的白冰、“浴室歌后”黃齡（同樣歌紅人不紅）、前不久剛跟尚雯婕撕逼的許飛以及聽過幾首歌的朱婧汐和袁詠琳。

微博就是一個社交平台，明星之間也需要互相關注、平時有個新歌發布什麼的也需要互相捧捧場，所以我想用微博關注數來衡量“熱絡”和“高冷”的程度，從關注數來看， TOP1居然是鍾麗緹！關注了900多個用戶！

原本我以為像吳昕這樣的主持人應該排TOP1呢，畢竟她的前輩——號稱娛樂圈人精（非貶義）的何炅老師可是關注了865人（天吶，鍾麗緹關注的人比何炅還多）。 TOP2-5分別是張含韻、沈夢辰、金莎和黃齡 ，這幾位當屬（公開）人際圈活躍份子了。而 關注用戶數最少的是許飛、張萌和孟佳 ，這三位堪稱微博關係圈裡最“高冷”的姐姐了。

姐姐們の初舞台評分

從評委的評分來看，姐姐們的微博人氣跟評分幾乎沒有關係，但評分結果有些還是非常令人大跌眼鏡的，比如金莎和丁當的評分，以及黃聖依的評分，我實在不能理解。

說到這裡我又想罵杜華女士了，真替丁當覺得冤屈。 按杜女士的理論，只有廢物最適合出道唄，因為可以襯托出其他人的厲害 ，真是呵呵?支持丁當！同時，支持靜靜子、支持鍾麗緹懟她！

第一梯隊

第一梯隊的小姐姐們，不愧是組內流量擔當，日常發微博評論5000+沒問題，尤其是像吳昕這種屬於活躍在娛樂圈裡的主持人，時不時能來個評論高峰，這裡面寧靜和伊能靜的評論數少一點，畢竟是中年女演員， 老牌演員本身就不是靠微博起家的，粉絲也是路人粉居多，而路人大概率是懶得發評論的 。

從走勢來看，節目給姐姐們帶來了一定的流量（人氣），但即使是節目播出之前，也大多自帶流量特質。

下面，就來看看姐姐們微博的流量高峰點都發了什麼吧（以下內容為縮略版）。

吳昕那條評論3w+的微博，對應的是她的生日感言——

吳昕

2019年我過得挺好，挺自在，也挺努力[心]人隨着年紀越大好像越知道如何找到自己的平衡點，這是我必須要給自己的一個大大的贊??  一眨眼就2020年了，我已經不想許願了，長大了不信這一套了 過好屬於自己的人生最重要，這是今年的，很短很短的，碎碎念新的一年，加油[耶][耶][耶] 

感覺是普通又親切的小女生的生日感言呢~

大家比我着急[允悲][嘻嘻]，還沒,稍安勿躁哈    

王麗坤

不知道是什麼，特意搜了下原博的評論，貌似是澄清她和林更新的緋聞？

寧靜

我，寧靜華夏兒女、炎黃子孫、土生土長中國人！！！此生唯一的父母之邦！！！背後唯一的祖國！！！中國！！！半秒都沒變過！！！

部分網友說寧靜是美國國籍，本人出來澄清。

姐不用抗老，因為姐根本不會老。姐不用凍齡，因為姐就是冰山。姐不用吃防腐劑，因為姐就是防腐劑。只要勇敢乘風破浪，任何時候，姐的52歲，也可以倒過來是25！[贊啊][鮮花][心]@乘風破浪的姐姐 #伊能靜[超話]##伊能靜吃防腐劑#

伊能靜

這位就很可愛了，還自帶話題#伊能靜吃防腐劑#

黃聖依

你只看到了我的八個箱子沒看到我練舞流的一公升汗水你看到了我的兩米大裙子沒錯，你很有眼光感謝你的注目這一次拼盡全力和我一起為夢而戰！#乘風破浪的姐姐#

也是乘風破浪節目相關，有一說一，她穿那條裙子真的挺美。但是隨便喝不熟的人的咖啡然後順手還回去什麼的，看起來還挺“公主病”，有點把人當丫鬟的感覺。

第二梯隊

張雨綺5月的某條微博評論數一騎絕塵，沒錯，就是那條剪章魚的視頻，對某時間管理大師做出了暗搓搓（不，應該是明晃晃）的diss，讓看的人大呼過癮！這姐真的剛?用最甜的笑，下最狠的刀！

由於綺綺子一條微博拉高了整體上限閾值導致其他線條的起伏完全被壓住而成為了一條直直的橫線，加上線實在太多，我決定調整下Y軸範圍並把第二梯隊分成兩組再重新畫圖。

第一小組，基本上每位小姐姐在今年的微博評論數波動都還比較大，不過明顯節目播出後有個小高峰。

第二小組，整體上大的起伏出現在今年3月左右，除了張含韻在去年4月某條評論突破2w外。

張含韻

特殊時期無意佔用公共資源，十分抱歉。單身未婚，只想過好自己的清凈日子。請某些網絡用戶停止編造傳播不實信息。謝謝。

關於她和郭麒麟的緋聞澄清，這個八卦我沒太關注，就不細說了。感覺應該是八竿子打不着的倆人？娛樂圈真是什麼都能傳，記得節目里還有其他女明星問含韻MM本尊來着，看來明星平日里吃瓜也吃得挺溜，只要不是自家的瓜?。

第三梯隊

跟張雨綺類似，第三梯隊衝出一個許飛。對應的內容是上次在綜藝上說尚雯婕跟大家不熟的那個事兒，當時確實挺火的，好多營銷號都在扒超女中誰誰之前不合的往事。

第三梯隊的兩組就比較明顯了， 評論激增都出現在節目播出後，節目給她們帶來了極大的討論度，也增加了她們的公眾曝光量 。

第二組裡，丁當評論超高的微博，就是公開質疑杜華選女團標準的那條，不光粉絲，路人網友都看不下去了，紛紛加入支持她聲討杜華的行列。

丁當

這次參加《乘風破浪的姐姐》，無論姐姐們抱着什麼心態，本質上它仍是一次比賽，但當我聽到獲低分的理由竟然是“唱得太好了”，我和觀眾姐妹們一樣也是滿臉問號。（節選）

居然還有人推出”代罵“服務，真的笑死我。因為微博現在限制關注7天以上才能評論，所以就有網友承接”代罵“杜女士的業務?。

點贊10w+的內容

點贊破10w的，內容含乘風破浪關鍵詞的微博如下：

以上就是從微博數據出發所呈現的內容了，我心想要是我會爬微博漲粉數據就好了，這樣可以把每個姐姐在節目前後漲粉的數量做一個對比，能更直觀地體現《乘風破浪》這個節目對姐姐人氣的影響，可惜學藝不精，暫時無法做到這一步，以後慢慢學吧?。

單純從唱歌來講， 我pick藍盈瑩的《別找我麻煩》、寧靜的《吻別前的那片海》和朱婧汐的《Cure》，張含韻的《wonderful U》也不錯 。尤其是寧靜，我是真的不知道她會唱歌，還唱的這麼好聽！這兩天我還在b站刷到她唱《loving you》的視頻，真的是絕了，真·海豚音，身材還賊好！

真心期待下一期節目！想看到可愛的姐姐們繼續”興風作浪“，看到端水大師小明伺候姑奶奶們罒ω罒

最後，私心為我的小雨姐姐瘋狂打call，即使《粉紅色的回憶》是她唯一一首能完整唱下來的歌，也請大家多多支持這個表面上看起來很御姐實際超級傻白甜的反差萌的虎妹子！綺綺子沖鴨！！！祝你如願以償，C位出道（手動比心）

ღ( ´･ᴗ･` )比心

python一鍵追星，爬取個人微博主頁下的圖片

我是個微博重度用戶，工作學習之餘喜歡刷刷timeline看看有什麼新鮮事發生，也因此認識了不少高質量的原創大V，有分享技術資料的，比如好東西傳送門；有時不時給你一點人生經驗的，比如石康；有高產的段子手，比如銀教授；有黃圖黃段子小能手，比如阿良哥哥 木木蘿希木 初犬餅…

好吧，我承認，爬黃圖黃段子才是我的真實目的，前三個是掩人耳目的…（捂臉，跑開）

另外說點題外話，我一開始想使用Sina Weibo API來獲取微博內容，但後來發現新浪微博的API限制實在太多，大家感受一下：

只能獲取當前授權的用戶（就是自己），而且只能返回最新的5條，WTF！

所以果斷放棄掉這條路，改為『生爬』，因為PC端的微博是Ajax的動態加載，爬取起來有些困難，我果斷知難而退，改為對移動端的微博進行爬取，因為移動端的微博可以通過分頁爬取的方式來一次性爬取所有微博內容，這樣工作就簡化了不少。

最後實現的功能：

輸入要爬取的微博用戶的user_id，獲得該用戶的所有微博

文字內容保存到以%user_id命名文本文件中，所有高清原圖保存在weibo_image文件夾中

具體操作：

首先我們要獲得自己的cookie，這裡只說chrome的獲取方法。

用chrome打開新浪微博移動端

option+command+i調出開發者工具

點開Network，將Preserve log選項選中

輸入賬號密碼，登錄新浪微博

找到m.weibo.cn-Headers-Cookie，把cookie複製到代碼中的#your cookie處

cookie

然後再獲取你想爬取的用戶的user_id，這個我不用多說啥了吧，點開用戶主頁，地址欄裡面那個號碼就是user_id

將python代碼保存到weibo_spider.py文件中

定位到當前目錄下後，命令行執行python weibo_spider.py user_id

當然如果你忘記在後面加user_id，執行的時候命令行也會提示你輸入

最後執行結束

iTerm

小問題：在我的測試中，有的時候會出現圖片下載失敗的問題，具體原因還不是很清楚，可能是網速問題，因為我宿舍的網速實在太不穩定了，當然也有可能是別的問題，所以在程序根目錄下面，我還生成了一個userid_imageurls的文本文件，裡面存儲了爬取的所有圖片的下載鏈接，如果出現大片的圖片下載失敗，可以將該鏈接群一股腦導進迅雷等下載工具進行下載。

另外，我的系統是OSX EI Capitan10.11.2，Python的版本是2.7，依賴庫用sudo pip install XXXX就可以安裝，具體配置問題可以自行stackoverflow，這裡就不展開講了。

下面我就給出實現代碼（嚴肅臉）

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

#-*-coding:utf8-*-

import re

import string

import sys

import os

import urllib

import urllib2

from bs4 import BeautifulSoup

import requests

from lxml import etree

reload(sys)

sys.setdefaultencoding(‘utf-8’)

if(len(sys.argv) =2):

user_id = (int)(sys.argv[1])

else:

user_id = (int)(raw_input(u”請輸入user_id: “))

cookie = {“Cookie”: “#your cookie”}

url = ‘d?filter=1page=1’%user_id

html = requests.get(url, cookies = cookie).content

selector = etree.HTML(html)

pageNum = (int)(selector.xpath(‘//input[@name=”mp”]’)[0].attrib[‘value’])

result = “”

urllist_set = set()

word_count = 1

image_count = 1

print u’爬蟲準備就緒…’

for page in range(1,pageNum+1):

#獲取lxml頁面

url = ‘hu/%d?filter=1page=%d’%(user_id,page)

lxml = requests.get(url, cookies = cookie).content

#文字爬取

selector = etree.HTML(lxml)

content = selector.xpath(‘//span[@class=”ctt”]’)

for each in content:

text = each.xpath(‘string(.)’)

if word_count = 4:

text = “%d :”%(word_count-3) +text+”\n\n”

else :

text = text+”\n\n”

result = result + text

word_count += 1

#圖片爬取

soup = BeautifulSoup(lxml, “lxml”)

urllist = soup.find_all(‘a’,href=re.compile(r’^mblog/oripic’,re.I))

first = 0

for imgurl in urllist:

urllist_set.add(requests.get(imgurl[‘href’], cookies = cookie).url)

image_count +=1

fo = open(“/Users/Personals/%s”%user_id, “wb”)

fo.write(result)

word_path=os.getcwd()+’/%d’%user_id

print u’文字微博爬取完畢’

link = “”

fo2 = open(“/Users/Personals/%s_imageurls”%user_id, “wb”)

for eachlink in urllist_set:

link = link + eachlink +”\n”

fo2.write(link)

print u’圖片鏈接爬取完畢’

if not urllist_set:

print u’該頁面中不存在圖片’

else:

#下載圖片,保存在當前目錄的pythonimg文件夾下

image_path=os.getcwd()+’/weibo_image’

if os.path.exists(image_path) is False:

os.mkdir(image_path)

x=1

for imgurl in urllist_set:

temp= image_path + ‘/%s.jpg’ % x

print u’正在下載第%s張圖片’ % x

try:

urllib.urlretrieve(urllib2.urlopen(imgurl).geturl(),temp)

except:

print u”該圖片下載失敗:%s”%imgurl

x+=1

print u’原創微博爬取完畢，共%d條，保存路徑%s’%(word_count-4,word_path)

print u’微博圖片爬取完畢，共%d張，保存路徑%s’%(image_count-1,image_path)

用Python寫爬蟲爬取微博數據的思路如下：

1、用base64加密用戶名之後仿造一個預登陸，用正則匹配得到各項參數。

2、用上一步里得到的參數，拼接密碼明文，再用RSA加密得到密文，並構造POST的form data。

3、使用構造好的form data仿造登錄請求

4、用正則匹配獲得跳轉的目標鏈接。

5、為了保持登陸，用cookiejar一類的工具綁定一個cookie就行了。

推薦學習《Python教程》。