python百度統計elk（python 匯總統計）

本文目錄一覽：

• 1、elk日誌分析平台是什麼意思
• 2、如何使用python爬取知乎數據並做簡單分析
• 3、1.ELK 系統落地實踐

elk日誌分析平台是什麼意思

首字母為該管理系統三個主要軟件：Elasticsearch、Logstash、Kibana。這三個並非該管理系統的全部組成，而且還可以添加Redis,kafka,filebeat等軟件

它們各自的功能大概可以這樣概述：E：實時分析、實時檢索、海量存儲，建立索引，以便日後快速查看、搜索、分析

L：數據流傳輸、日誌結構化

K：分析統計、酷炫圖表

傳統的日誌架構存在的以下若干缺點：

開發人員無權登錄，經過運維周轉費時費力

日誌數據分散在多個系統，難以查找

日誌數據量大，查詢速度慢

一個調用會涉及多個系統，難以在這些系統的日誌中快速定位數據

數據不夠實時

因此，需要日誌分析產品，美國有Splunk，中國有日誌易。也有更多的企業在使用開源產品，也就是題主說到的ELK。

如何使用python爬取知乎數據並做簡單分析

一、使用的技術棧：

爬蟲：python27 +requests+json+bs4+time

分析工具： ELK套件

開發工具：pycharm

數據成果簡單的可視化分析

1.性別分佈

0 綠色代表的是男性 ^ . ^

1 代表的是女性

-1 性別不確定

可見知乎的用戶男性頗多。

二、粉絲最多的top30

粉絲最多的前三十名：依次是張佳瑋、李開復、黃繼新等等，去知乎上查這些人，也差不多這個排名，說明爬取的數據具有一定的說服力。

三、寫文章最多的top30

四、爬蟲架構

爬蟲架構圖如下：

說明：

選擇一個活躍的用戶（比如李開復）的url作為入口url.並將已爬取的url存在set中。

抓取內容，並解析該用戶的關注的用戶的列表url，添加這些url到另一個set中，並用已爬取的url作為過濾。

解析該用戶的個人信息，並存取到本地磁盤。

logstash取實時的獲取本地磁盤的用戶數據，並給elsticsearchkibana和elasticsearch配合，將數據轉換成用戶友好的可視化圖形。

五、編碼

爬取一個url:

解析內容：

存本地文件：

代碼說明：

* 需要修改獲取requests請求頭的authorization。

* 需要修改你的文件存儲路徑。

源碼下載：點擊這裡，記得star哦！https : // github . com/forezp/ZhihuSpiderMan六、如何獲取authorization

打開chorme，打開https : // www. zhihu .com/，

登陸，首頁隨便找個用戶，進入他的個人主頁，F12(或鼠標右鍵，點檢查)七、可改進的地方

可增加線程池，提高爬蟲效率

存儲url的時候我才用的set(),並且採用緩存策略，最多只存2000個url，防止內存不夠，其實可以存在redis中。

存儲爬取後的用戶我說採取的是本地文件的方式，更好的方式應該是存在mongodb中。

對爬取的用戶應該有一個信息的過濾，比如用戶的粉絲數需要大與100或者參與話題數大於10等才存儲。防止抓取了過多的殭屍用戶。

八、關於ELK套件

關於elk的套件安裝就不討論了，具體見官網就行了。網站：https : // www . elastic . co/另外logstash的配置文件如下：

從爬取的用戶數據可分析的地方很多，比如地域、學歷、年齡等等，我就不一一列舉了。另外，我覺得爬蟲是一件非常有意思的事情，在這個內容消費升級的年代，如何在廣闊的互聯網的數據海洋中挖掘有價值的數據，是一件值得思考和需不斷踐行的事情。

1.ELK 系統落地實踐

ELK 是一般被稱作日誌分析系統，是三款開源軟件的簡稱。通常在業務服務上線後我們會部署一套 ELK 系統，方便我們通過圖形化界面直接查找日誌，快速找到問題源並幫助解決問題。

Elasticsearch 代表 ELK 中的 E，通常簡稱為 ES 。它是一個分佈式 RESTful 風格的搜索和數據分析引擎，提供非常多的功能包括存儲，搜索以及分析數據。

具體的介紹可以查看官網：Elasticsearch（）。

Logstash 是開源的服務器端數據處理管道，能夠同時從多個來源採集數據、格式化數據，然後將數據發送到相應的地方。

詳細介紹請訪問：Logstash（）。

Kibana 能夠讓我們使用可視化的方式操作 Elasticsearch 中的數據。

詳細介紹請訪問：Kibana（）。

工作流程如下：

Filebeat 定時監控並收集每個服務的日誌信息；

Logstash 把格式化日誌信息發送到 ES 中進行存儲，同時發送到監控預警服務進行處理；

監控中心處理日誌內容，配置相應策略通過郵件或者即時通訊方式告知開發人員；

Kibana 結合 ES 提供的搜索功能進行查詢，使用 Kibana 自帶的圖表功能進行統計。