python爬取數據分析的體會（爬取數據進行分析）

本文目錄一覽：

• 1、Python爬蟲：如何在一個月內學會爬取大規模數
• 2、Python爬蟲可以爬取什麼
• 3、使用Python做數據分析的優點是什麼？
• 4、如何評價《利用python進行數據分析》這本書
• 5、python做數據分析怎麼樣？
• 6、《利用python進行數據分析》讀書筆記1

Python爬蟲：如何在一個月內學會爬取大規模數

爬蟲是入門Python最好的方式，沒有之一。Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。

掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的使用，以及如何查找文檔你都非常熟悉了。

對於小白來說，爬蟲可能是一件非常複雜、技術門檻很高的事情。比如有人認為學爬蟲必須精通 Python，然後哼哧哼哧系統學習 Python 的每個知識點，很久之後發現仍然爬不了數據；有的人則認為先要掌握網頁的知識，遂開始 HTMLCSS，結果入了前端的坑，瘁……

但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從一開始就要有一個具體的目標。

在目標的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這裡給你一條平滑的、零基礎快速入門的學習路徑。

1.學習 Python 包並實現基本的爬蟲過程

2.了解非結構化數據的存儲

3.學習scrapy，搭建工程化爬蟲

4.學習資料庫知識，應對大規模數據存儲與提取

5.掌握各種技巧，應對特殊網站的反爬措施

6.分散式爬蟲，實現大規模並發採集，提升效率

– –

學習 Python 包並實現基本的爬蟲過程

大部分Python爬蟲都是按「發送請求——獲得頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。

Python爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。

如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多，一般的靜態網站根本不在話下，豆瓣、糗事百科、騰訊新聞等基本上都可以上手了。

當然如果你需要爬取非同步載入的網站，可以學習瀏覽器抓包分析真實請求或者學習Selenium來實現自動化，這樣，知乎、時光網、貓途鷹這些動態的網站也可以迎刃而解。

– –

了解非結構化數據的存儲

爬回來的數據可以直接用文檔形式存在本地，也可以存入資料庫中。

開始數據量不大的時候，你可以直接通過 Python 的語法或 pandas 的方法將數據存為csv這樣的文件。

當然你可能發現爬回來的數據並不是乾淨的，可能會有缺失、錯誤等等，你還需要對數據進行清洗，可以學習 pandas 包的基本用法來做數據的預處理，得到更乾淨的數據。

– –

學習 scrapy，搭建工程化的爬蟲

掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常複雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。

scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。

學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。

– –

學習資料庫基礎，應對大規模數據存儲

爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前比較主流的 MongoDB 就OK。

MongoDB 可以方便你去存儲一些非結構化的數據，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。

因為這裡要用到的資料庫知識其實非常簡單，主要是數據如何入庫、如何進行提取，在需要的時候再學習就行。

– –

掌握各種技巧，應對特殊網站的反爬措施

當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。

遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等。

往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了。

– –

分散式Python爬蟲，實現大規模並發採集

爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分散式爬蟲。

分散式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具。

Scrapy 前面我們說過了，用於做基本的

Python爬蟲可以爬取什麼

Python爬蟲可以爬取的東西有很多，Python爬蟲怎麼學？簡單的分析下：

如果你仔細觀察，就不難發現，懂爬蟲、學習爬蟲的人越來越多，一方面，互聯網可以獲取的數據越來越多，另一方面，像 Python這樣的編程語言提供越來越多的優秀工具，讓爬蟲變得簡單、容易上手。

利用爬蟲我們可以獲取大量的價值數據，從而獲得感性認識中不能得到的信息，比如：

知乎：爬取優質答案，為你篩選出各話題下最優質的內容。

淘寶、京東：抓取商品、評論及銷量數據，對各種商品及用戶的消費場景進行分析。

安居客、鏈家：抓取房產買賣及租售信息，分析房價變化趨勢、做不同區域的房價分析。

拉勾網、智聯：爬取各類職位信息，分析各行業人才需求情況及薪資水平。

雪球網：抓取雪球高回報用戶的行為，對股票市場進行分析和預測。

爬蟲是入門Python最好的方式，沒有之一。Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。

掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的使用，以及如何查找文檔你都非常熟悉了。

對於小白來說，爬蟲可能是一件非常複雜、技術門檻很高的事情。比如有人認為學爬蟲必須精通 Python，然後哼哧哼哧系統學習 Python 的每個知識點，很久之後發現仍然爬不了數據；有的人則認為先要掌握網頁的知識，遂開始 HTMLCSS，結果入了前端的坑，瘁……

但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從一開始就要有一個具體的目標。

在目標的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這裡給你一條平滑的、零基礎快速入門的學習路徑。

1.學習 Python 包並實現基本的爬蟲過程

2.了解非結構化數據的存儲

3.學習scrapy，搭建工程化爬蟲

4.學習資料庫知識，應對大規模數據存儲與提取

5.掌握各種技巧，應對特殊網站的反爬措施

6.分散式爬蟲，實現大規模並發採集，提升效率

一

學習 Python 包並實現基本的爬蟲過程

大部分爬蟲都是按「發送請求——獲得頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。

Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。

如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多，一般的靜態網站根本不在話下，豆瓣、糗事百科、騰訊新聞等基本上都可以上手了。

當然如果你需要爬取非同步載入的網站，可以學習瀏覽器抓包分析真實請求或者學習Selenium來實現自動化，這樣，知乎、時光網、貓途鷹這些動態的網站也可以迎刃而解。

二

了解非結構化數據的存儲

爬回來的數據可以直接用文檔形式存在本地，也可以存入資料庫中。

開始數據量不大的時候，你可以直接通過 Python 的語法或 pandas 的方法將數據存為csv這樣的文件。

當然你可能發現爬回來的數據並不是乾淨的，可能會有缺失、錯誤等等，你還需要對數據進行清洗，可以學習 pandas 包的基本用法來做數據的預處理，得到更乾淨的數據。

三

學習 scrapy，搭建工程化的爬蟲

掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常複雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。

scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。

學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。

四

學習資料庫基礎，應對大規模數據存儲

爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前比較主流的 MongoDB 就OK。

MongoDB 可以方便你去存儲一些非結構化的數據，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。

因為這裡要用到的資料庫知識其實非常簡單，主要是數據如何入庫、如何進行提取，在需要的時候再學習就行。

五

掌握各種技巧，應對特殊網站的反爬措施

當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。

遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等。

往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了.

六

分散式爬蟲，實現大規模並發採集

爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分散式爬蟲。

分散式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具。

Scrapy 前面我們說過了，用於做基本的頁面爬取，MongoDB 用於存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務隊列。

所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分散式的爬蟲的時候，那麼你可以去嘗試打造一些基本的爬蟲架構了，實現一些更加自動化的數據獲取。

你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，盡量不要系統地去啃一些東西，找一個實際的項目（開始可以從豆瓣、小豬這種簡單的入手），直接開始就好。

因為爬蟲這種技術，既不需要你系統地精通一門語言，也不需要多麼高深的資料庫技術，高效的姿勢就是從實際的項目中去學習這些零散的知識點，你能保證每次學到的都是最需要的那部分。

當然唯一麻煩的是，在具體的問題中，如何找到具體需要的那部分學習資源、如何篩選和甄別，是很多初學者面臨的一個大問題。

以上就是我的回答，希望對你有所幫助，望採納。

使用Python做數據分析的優點是什麼？

最近幾年，大數據的發展程度越來越明顯，很多企業由於使用了大數據分析使得企業朝著更好的方向發展，這就導致的數據分析行業的人才開始稀缺起來，對於數據分析這個工作中，是需要學會一些編程語言的，比如MATLAB，Python，Java等語言。對於初學者來說，Python是一個不錯的語言，Python語言簡單易懂，同時對於大數據分析有很明顯的幫助。那麼使用Python做數據分析的優點是什麼呢？一般來說就是簡單易學、語言通用、存在科學計算活躍區域等等。

首先說說Python的第一個優點，那就是簡單易學。很多學過Java的朋友都知道，Python語法簡單的多，代碼十分容易被讀寫，最適合剛剛入門的朋友去學習。我們在處理數據的時候，一般都希望數據能夠轉化成可運算的數字形式，這樣，不管是沒學過編程的人還是學過編程的人都能夠看懂這個數據。

Python在數據分析和交互、探索性計算以及數據可視化等方面都顯得比較活躍，這就是Python作為數據分析的原因之一，python擁有numpy、matplotlib、scikit-learn、pandas、ipython等工具在科學計算方面十分有優勢，尤其是pandas，在處理中型數據方面可以說有著無與倫比的優勢，已經成為數據分析中流砥柱的分析工具。

Python也具有強大的編程能力，這種編程語言不同於R或者matlab，python有些非常強大的數據分析能力，並且還可以利用Python進行爬蟲，寫遊戲，以及自動化運維，在這些領域中有著很廣泛的應用，這些優點就使得一種技術去解決所有的業務服務問題，這就充分的體現的Python有利於各個業務之間的融合。如果使用Python，能夠大大的提高數據分析的效率。

python是人工智慧時代的通用語言

Python對於如今火熱的人工智慧也有一定的幫助，這是因為人工智慧需要的是即時性，而Python是一種非常簡潔的語言，同時有著豐富的資料庫以及活躍的社區，這樣就能夠輕鬆的提取數據，從而為人工智慧做出優質的服務。

通過上面的描述，想必大家已經知道了使用Python做數據分析的優點是什麼了吧，Python語言得益於它的簡單方便使得在大數據、數據分析以及人工智慧方面都有十分明顯的存在感，對於數據分析從業者以及想要進入數據分析從業者的人來說，簡單易學容易上手的優勢也是一個優勢，所以，要做好數據分析，一定要學會Python語言。

如何評價《利用python進行數據分析》這本書

1、為什麼用Python做數據分析

首先因為Python可以輕鬆地集成C、C++、Fortran代碼，一些底層用C寫的演算法封裝在python包里後性能非常高效。並且Python與Ruby都有大量的Web框架，因此用於網站的建設，另一方面個人覺得因為Python作為解釋性語言相對編譯型語言更為簡單，可以通過簡單的腳本處理大量的數據。而組織內部統一使用的語言將大大提高工作效率。

2、為什麼用R做數據分析

R的優勢在於有包羅萬象的統計函數可以調用，特別是在時間序列分析方面（主要用在金融分析與趨勢預測）無論是經典還是前沿的方法都有相應的包直接使用；相比python在這方面貧乏不少。另外R語言具有強大的可視化功能，一個散點圖箱線圖可以用一條程序搞定，相比Excel更加簡單。

在使用環境方面，SAS在企業、政府及軍事機構使用較多，因其權威認證；SPSS、R大多用於科研機構，企業級應用方面已有大量的商業化R軟體，同時可結合（具體怎麼結合，尚未搞明白）Hadoop進行數據挖掘。

python做數據分析怎麼樣？

     我使用python這門語言也有三年了，被其簡潔、易讀、強大的庫所折服，我已經深深愛上了python。其pythonic語言特性，對人極其友好，可以說，一個完全不懂編程語言的人，看懂python語言也不是難事。

     在數據分析和交互、探索性計算以及數據可視化等方面，相對於R、MATLAB、SAS、Stata等工具，Python都有其優勢。近年來，由於Python庫的不斷發展（如pandas），使其在數據挖掘領域嶄露頭角。結合其在通用編程方面的強大實力，我們完全可以只使用Python這一種語言去構建以數據為中心的應用程序。

     由於python是一種解釋性語言，大部分編譯型語言都要比python代碼運行速度快，有些同學就因此鄙視python。但是小編認為，python是一門高級語言，其生產效率更高，程序員的時間通常比CPU的時間值錢，因此為了權衡利弊，考慮用python是值得的。

Python強大的計算能力依賴於其豐富而強大的庫：

Numpy

Numerical Python的簡稱，是Python科學計算的基礎包。其功能：

1. 快速高效的多維數組對象ndarray。

2. 用於對數組執行元素級計算以及直接對數組執行數學運算的函數。

3. 線性代數運算、傅里葉變換，以及隨機數生成。

4. 用於將C、C++、Fortran代碼集成到Python的工具。

除了為Python提供快速的數組處理能力，NumPy在數據分析方面還有另外一個主要作用，即作為在演算法之間傳遞數據的容器。對於數值型數據，NumPy數組在存儲和處理數據時要比內置的Python數據結構高效得多。此外，由低級語言（比如C和Fortran）編寫的庫可以直接操作NumPy數組中的數據，無需進行任何數據複製工作。

SciPy

是一組專門解決科學計算中各種標準問題域的包的集合，主要包括下面這些包：

1. scipy.integrate：數值積分常式和微分方程求解器。

2. scipy.linalg：擴展了由numpy.linalg提供的線性代數常式和矩陣分解功能。

3. scipy.optimize：函數優化器（最小化器）以及根查找演算法。

4. scipy.signal：信號處理工具。

5. scipy.sparse：稀疏矩陣和稀疏線性系統求解器。

6. scipy.special：SPECFUN（這是一個實現了許多常用數學函數（如伽瑪函數）的Fortran庫）的包裝器。

7. scipy.stats：標準連續和離散概率分布（如密度函數、採樣器、連續分布函數等）、各種統計檢驗方法，以及更好的描述統計法。

8. scipy.weave：利用內聯C++代碼加速數組計算的工具。

註：NumPy跟SciPy的有機結合完全可以替代MATLAB的計算功能（包括其插件工具箱）。

SymPy

是python的數學符號計算庫，用它可以進行數學表達式的符號推導和演算。

pandas

提供了使我們能夠快速便捷地處理結構化數據的大量數據結構和函數。你很快就會發現，它是使Python成為強大而高效的數據分析環境的重要因素之一。

pandas兼具NumPy高性能的數組計算功能以及電子表格和關係型資料庫(如SQL)靈活的數據處理功能。它提供了複雜精細的索引功能，以便更為便捷地完成重塑、切片和切塊、聚合以及選取數據子集等操作。

對於使用R語言進行統計計算的用戶，肯定不會對DataFrame這個名字感到陌生，因為它源自於R的data.frame對象。但是這兩個對象並不相同。R的data.frame對象所提供的功能只是DataFrame對象所提供的功能的一個子集。也就是說pandas的DataFrame功能比R的data.frame功能更強大。

matplotlib

是最流行的用於繪製數據圖表的Python庫。它最初由John D. Hunter（JDH）創建，目前由一個龐大的開發人員團隊維護。它非常適合創建出版物上用的圖表。它跟IPython（馬上就會講到）結合得很好，因而提供了一種非常好用的互動式數據繪圖環境。繪製的圖表也是互動式的，你可以利用繪圖窗口中的工具欄放大圖表中的某個區域或對整個圖表進行平移瀏覽。

TVTK

是python數據三維可視化庫，是一套功能十分強大的三維數據可視化庫，它提供了Python風格的API，並支持Trait屬性(由於Python是動態編程語言，其變數沒有類型，這種靈活性有助於快速開發，但是也有缺點。而Trait庫可以為對象的屬性添加檢校功能，從而提高程序的可讀性，降低出錯率。) 和NumPy數組。此庫非常龐大，因此開發公司提供了一個查詢文檔，用戶可以通過下面語句運行它：

from enthought.tvtk.toolsimport tvtk_doc

tvtk_doc.main()

Scikit-Learn

是基於python的機器學習庫，建立在NumPy、SciPy和matplotlib基礎上，操作簡單、高效的數據挖掘和數據分析。其文檔、實例都比較齊全。

小編建議：初學者使用python(x, y)，其是一個免費的科學和工程開發包，提供數學計算、數據分析和可視化展示。非常方便！

其官網：（由於某種原因，國內上不去，需要翻牆）

下載地址：（小編到網上搜到的一個地址，親測可以用）

下圖展示了python(x, y) 強大功能。

《利用python進行數據分析》讀書筆記1

讀取json內容：

建立只有『tz』時區欄位的列表。因為不是每個字典實例都有tz欄位，所以要加上if ‘tz’ in rec。否則會報錯。

統計每種時區的出現次數：

方法一：

先統計次數，生成{時區1：次數，時區2：次數….}形式的字典。

再對字典進行排序。

統計次數方法（1）：

統計次數方法（2）：

排序

其中counts.items()是將字典中的鍵值對以元組的形式放進列表裡。

例：counts：

{u’America/Montreal’: 9, u’America/Anchorage’: 5, u’Asia/Seoul’: 5}

counts.items():

[(u’America/Montreal’, 9), (u’America/Anchorage’, 5), (u’Asia/Seoul’, 5)]

而這句：value_key_pairs=[(count,tz) for tz, count in counts.items()]則是對返回的鍵，值對元組的位置做了調換。

例：[(9, u’America/Montreal’), (5, u’America/Anchorage’), (5, u’Asia/Seoul’)]

value_key_pairs.sort()中 list.sort()方法只能用於列表，是對原列表進行排序。默認升序。需要降序則value_key_pairs.sort(reverse=False)

關於排序的知識詳細參考：

方法二：使用Counter類

Counter類的目的是用來跟蹤值出現的次數。它是一個無序的容器類型，以字典的鍵值對形式存儲，其中元素作為key，其計數作為value。計數值可以是任意的Interger（包括0和負數）。Counter類和其他語言的bags或multisets很相似。

詳細參考：

方法三：用pandas計數

注意裡面有空值

此時的tz_counts如下。注意空字元串變成了unknow。以及增加了missing計數。

使用前十的數據，利用plot方法生成一張水平條形圖。

總結：

1.往字典里存數據需要先初始化字典。可使用defaultdict函數：

2.清洗數據，有的數據沒有某個欄位，一是要替換掉這些缺失值，可用fillna方法替換。二是要注意有沒有空字元串，這種數據可通過布爾型數組索引來替換掉。

3.對某個欄位的值的出現次數進行統計，可使用三種方法

（1）新建一個字典，用以統計每個值的出現次數。再將該字典轉換為列表，對列表進行排序。

（2）使用counter類進行次數統計並排序。

（3）先將json轉換為DataFrame對象，再對其tz欄位使用pandas的value_counts()方法進行次數統計並排序。