關於python爬取bilibili歷史記錄的信息

本文目錄一覽：

• 1、爬蟲使用線程池爬取嗶哩嗶哩數據，只能列印出一頁的數據，加了鎖也不行，如何修改呢？
• 2、如何在b站中查找自己觀看過的直播歷史記錄？ 急找一個在b站看過的遊戲
• 3、用python怎麼爬取B站每一個分區的總播放量？
• 4、python基礎 爬蟲項目有哪些？
• 5、怎麼抓取嗶哩嗶哩直播的長效直播源
• 6、python爬蟲在爬B站網頁時出現403錯誤，已經添加了ua還是出錯怎麼辦？

爬蟲使用線程池爬取嗶哩嗶哩數據，只能列印出一頁的數據，加了鎖也不行，如何修改呢？

爬蟲沒有 ip 池的話單線程都唯恐其過快，你 ip 池都沒有就開多線程，這不好吧！別搞得自己的 ip 被封到時候連訪問這個網頁都有困難就麻煩了。你上面代碼有加鎖嗎？大概得用 queue 吧。

如何在b站中查找自己觀看過的直播歷史記錄？ 急找一個在b站看過的遊戲

滑鼠停在你頭像，點開直播中心，左邊列表裡有觀看歷史，就是你直播的觀看記錄。

bilibili（嗶哩嗶哩，又稱：B站）是一個中國「年輕世代」高度聚集的文化社區和視頻平台。該網站於2009年6月創建，其前身是視頻分享網站Mikufans。

bilibili早期是一個ACG（動畫、漫畫、遊戲）內容創作與分享的視頻網站，現已發展成涵蓋7000多個興趣圈層的多元文化社區。

2021年8月20日，2021胡潤世界500強發布，嗶哩嗶哩以2,756億元企業估值位列第425名。

從2014年開始，bilibili開啟遊戲聯運和代理髮行業務，成功推出《夢100》、《FGO》、《碧藍航線》多款業內知名遊戲，並幫助《陰陽師》、《崩壞3》等產品獲得成功，是當前國內一家二次元遊戲發行平台。

2015年4月，bilibili獨家代理的第一款遊戲《幻想戰姬》上線，獨特的水墨畫風與濃郁的東方神話特色令人印象深刻。

2015年9月，國內首款乙女戀愛向手游《夢王國與沉睡的100王子》上線，旨在開拓女性向遊戲市場，在App Store首頁獲得超過十次以上的推薦，成為國內人氣女性向遊戲。

用python怎麼爬取B站每一個分區的總播放量？

如果你要的數據量很小的話，python2自帶的urllib2寫爬蟲就可以，如果你要的數據量比較大，就需要專門的爬蟲框架scrapy了。

一個爬蟲，你首先要分析你要爬取的網頁的頁面結構，也就是你需要知道在DOM樹種你要的元素在哪，然後用能操作DOM的包，比如beautifulsoup或者xpath等，解析DOM，獲取你想要的值，然後保存起來

python基礎 爬蟲項目有哪些？

我們上篇才講了面試中需要準備的內容，關於最後一點可能講的不是很詳細，小夥伴們很有對項目這塊很感興趣。畢竟所有的理論知識最後都是通過實踐檢驗的，如果能有拿得出手的項目，面試中會大大的加分。下面小編就來跟大講講python的爬蟲項目有哪些以及該學點什麼內容。

wesome-spider

這一項目收集了100多個爬蟲，默認使用了Python作為爬蟲語言。你既可以在這個項目中，找到爬取Bilibili視頻的爬蟲，也可以使用爬蟲，通過豆瓣評分和評價人數等各項數據，來挖掘那些隱藏的好書，甚至還可以用來爬取京東、鏈家、網盤等生活所需的數據。此外，這個項目還提供了一些很有意思的爬蟲，比如爬取神評論、妹子圖片、心靈毒雞湯等等，既有實用爬蟲，也有惡搞自嗨，滿足了大部分人實用爬蟲的需求。

Nyspider

Nyspider也非常厲害，如果你想獲得「信息」，它是一個不錯的選擇。在這個項目里，你既能獲取鏈家的房產信息，也可以批量爬取A股的股東信息，貓眼電影的票房數據、還可以爬取獵聘網的招聘信息、獲取融資數據等等，可謂是爬取數據，獲取信息的好手。

python-spider

這個項目是ID為Jack-Cherish的東北大學學生整理的python爬蟲資料，涵蓋了很多爬蟲實戰項目，如下載漫畫、答題輔助系統、搶票小助手等等等等。如果你已經學會了爬蟲，急切得像找一些項目練手，這裡就可以滿足你的這一需求。當然，W3Cschool上也有很多爬蟲實戰項目，有需要的同學，也可以拿來作為練習使用。

以上的3個模塊基於GitHub中的部分內容，感興趣的小夥伴也可以了解下其他的模塊，畢竟GitHub使用也比較廣泛。更多Python學習推薦:PyThon學習網教學中心。

怎麼抓取嗶哩嗶哩直播的長效直播源

抓取這種網頁上的信息最好使用Python網路爬蟲，但前提是你得會Python編程語言

python爬蟲在爬B站網頁時出現403錯誤，已經添加了ua還是出錯怎麼辦？

403是禁止訪問，就是伺服器不讓你訪問他的網站。

爬B站需要添加虛擬的瀏覽器信息，讓伺服器以為你是真人而不是解析器。