用python爬50w數據（python爬蟲入門教程）

本文目錄一覽：

• 1、如何利用python爬蟲獲取數據
• 2、怎麼用python爬取相關數據
• 3、如何使用python爬取知乎數據並做簡單分析

如何利用python爬蟲獲取數據

python是一款應用非常廣泛的腳本程序語言，谷歌公司的網頁就是用python編寫。python在生物信息、統計、網頁製作、計算等多個領域都體現出了強大的功能。python和其他腳本語言如java、R、Perl一樣，都可以直接在命令行里運行腳本程序。工具/原料python；CMD命令行；windows操作系統方法/步驟1、首先下載安裝python，建議安裝2.7版本以上，3.0版本以下，由於3.0版本以上不向下兼容，體驗較差。2、打開文本編輯器，推薦editplus，notepad等，將文件保存成.py格式，editplus和notepad支持識別python語法。腳本第一行一定要寫上#!usr/bin/python表示該腳本文件是可執行python腳本如果python目錄不在usr/bin目錄下，則替換成當前python執行程序的目錄。3、編寫完腳本之後注意調試、可以直接用editplus調試。調試方法可自行百度。腳本寫完之後，打開CMD命令行，前提是python已經被加入到環境變數中，如果沒有加入到環境變數，請百度4、在CMD命令行中，輸入「python」+「空格」，即」python「；將已經寫好的腳本文件拖拽到當前游標位置，然後敲回車運行即可。

怎麼用python爬取相關數據

以下代碼運行通過：

import requests

from bs4 import BeautifulSoup

import os

headers = {

    ‘User-Agent’: “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) “

                  “Chrome/22.0.1207.1 Safari/537.1”}

## 瀏覽器請求頭（大部分網站沒有這個請求頭會報錯）

all_url = ”

start_html = requests.get(all_url, headers=headers)

## 使用 requests 中的 get 方法來獲取 all_url 的內容 headers 為請求頭

print(start_html.text)

## 列印 start_html

## concent 是二進位的數據，下載圖片、視頻、音頻、等多媒體內容時使用 concent

## 列印網頁內容時使用 text

運行效果：

如何使用python爬取知乎數據並做簡單分析

一、使用的技術棧：

爬蟲：python27 +requests+json+bs4+time

分析工具： ELK套件

開發工具：pycharm

數據成果簡單的可視化分析

1.性別分布

0 綠色代表的是男性 ^ . ^

1 代表的是女性

-1 性別不確定

可見知乎的用戶男性頗多。

二、粉絲最多的top30

粉絲最多的前三十名：依次是張佳瑋、李開復、黃繼新等等，去知乎上查這些人，也差不多這個排名，說明爬取的數據具有一定的說服力。

三、寫文章最多的top30

四、爬蟲架構

爬蟲架構圖如下：

說明：

選擇一個活躍的用戶（比如李開復）的url作為入口url.並將已爬取的url存在set中。

抓取內容，並解析該用戶的關注的用戶的列表url，添加這些url到另一個set中，並用已爬取的url作為過濾。

解析該用戶的個人信息，並存取到本地磁碟。

logstash取實時的獲取本地磁碟的用戶數據，並給elsticsearchkibana和elasticsearch配合，將數據轉換成用戶友好的可視化圖形。

五、編碼

爬取一個url:

解析內容：

存本地文件：

代碼說明：

* 需要修改獲取requests請求頭的authorization。

* 需要修改你的文件存儲路徑。

源碼下載：點擊這裡，記得star哦！https : // github . com/forezp/ZhihuSpiderMan六、如何獲取authorization

打開chorme，打開https : // www. zhihu .com/，

登陸，首頁隨便找個用戶，進入他的個人主頁，F12(或滑鼠右鍵，點檢查)七、可改進的地方

可增加線程池，提高爬蟲效率

存儲url的時候我才用的set(),並且採用緩存策略，最多只存2000個url，防止內存不夠，其實可以存在redis中。

存儲爬取後的用戶我說採取的是本地文件的方式，更好的方式應該是存在mongodb中。

對爬取的用戶應該有一個信息的過濾，比如用戶的粉絲數需要大與100或者參與話題數大於10等才存儲。防止抓取了過多的殭屍用戶。

八、關於ELK套件

關於elk的套件安裝就不討論了，具體見官網就行了。網站：https : // www . elastic . co/另外logstash的配置文件如下：

從爬取的用戶數據可分析的地方很多，比如地域、學歷、年齡等等，我就不一一列舉了。另外，我覺得爬蟲是一件非常有意思的事情，在這個內容消費升級的年代，如何在廣闊的互聯網的數據海洋中挖掘有價值的數據，是一件值得思考和需不斷踐行的事情。