python爬蟲隨機森林預測（深度隨機森林 Python）

本文目錄一覽：

• 1、如何用Python進行大數據挖掘和分析？
• 2、如何用Python做爬蟲
• 3、學了python爬蟲還能幹什麼？
• 4、如何入門 Python 爬蟲
• 5、爬蟲python入門難學嗎
• 6、Python能做什麼，能夠開發什麼項目？

如何用Python進行大數據挖掘和分析？

如何用Python進行大數據挖掘和分析？快速入門路徑圖

大數據無處不在。在時下這個年代，不管你喜歡與否，在運營一個成功的商業的過程中都有可能會遇到它。

什麼是 大數據 ？

大數據就像它看起來那樣——有大量的數據。單獨而言，你能從單一的數據獲取的洞見窮其有限。但是結合複雜數學模型以及強大計算能力的TB級數據，卻能創造出人類無法製造的洞見。大數據分析提供給商業的價值是無形的，並且每天都在超越人類的能力。

大數據分析的第一步就是要收集數據本身，也就是眾所周知的「數據挖掘」。大部分的企業處理著GB級的數據，這些數據有用戶數據、產品數據和地理位置數據。今天，我將會帶著大家一起探索如何用 Python 進行大數據挖掘和分析？

為什麼選擇Python?

Python最大的優點就是簡單易用。這個語言有著直觀的語法並且還是個強大的多用途語言。這一點在大數據分析環境中很重要，並且許多企業內部已經在使用Python了，比如Google，YouTube，迪士尼等。還有，Python是開源的，並且有很多用於數據科學的類庫。

現在，如果你真的要用Python進行大數據分析的話，毫無疑問你需要了解Python的語法，理解正則表達式，知道什麼是元組、字元串、字典、字典推導式、列表和列表推導式——這只是開始。

數據分析流程

一般可以按「數據獲取-數據存儲與提取-數據預處理-數據建模與分析-數據可視化」這樣的步驟來實施一個數據分析項目。按照這個流程，每個部分需要掌握的細分知識點如下：

數據獲取：公開數據、Python爬蟲

外部數據的獲取方式主要有以下兩種。

第一種是獲取外部的公開數據集，一些科研機構、企業、政府會開放一些數據，你需要到特定的網站去下載這些數據。這些數據集通常比較完善、質量相對較高。

另一種獲取外部數據的方式就是爬蟲。

比如你可以通過爬蟲獲取招聘網站某一職位的招聘信息，爬取租房網站上某城市的租房信息，爬取豆瓣評分評分最高的電影列表，獲取知乎點贊排行、網易雲音樂評論排行列表。基於互聯網爬取的數據，你可以對某個行業、某種人群進行分析。

在爬蟲之前你需要先了解一些 Python 的基礎知識：元素（列表、字典、元組等）、變數、循環、函數………

以及，如何用 Python 庫（urllib、BeautifulSoup、requests、scrapy）實現網頁爬蟲。

掌握基礎的爬蟲之後，你還需要一些高級技巧，比如正則表達式、使用cookie信息、模擬用戶登錄、抓包分析、搭建代理池等等，來應對不同網站的反爬蟲限制。

數據存取：SQL語言

在應對萬以內的數據的時候，Excel對於一般的分析沒有問題，一旦數據量大，就會力不從心，資料庫就能夠很好地解決這個問題。而且大多數的企業，都會以SQL的形式來存儲數據。

SQL作為最經典的資料庫工具，為海量數據的存儲與管理提供可能，並且使數據的提取的效率大大提升。你需要掌握以下技能：

提取特定情況下的數據

資料庫的增、刪、查、改

數據的分組聚合、如何建立多個表之間的聯繫

數據預處理：Python（pandas）

很多時候我們拿到的數據是不幹凈的，數據的重複、缺失、異常值等等，這時候就需要進行數據的清洗，把這些影響分析的數據處理好，才能獲得更加精確地分析結果。

對於數據預處理，學會 pandas （Python包）的用法，應對一般的數據清洗就完全沒問題了。需要掌握的知識點如下：

選擇：數據訪問

缺失值處理：對缺失數據行進行刪除或填充

重複值處理：重複值的判斷與刪除

異常值處理：清除不必要的空格和極端、異常數據

相關操作：描述性統計、Apply、直方圖等

合併：符合各種邏輯關係的合併操作

分組：數據劃分、分別執行函數、數據重組

Reshaping：快速生成數據透視表

概率論及統計學知識

需要掌握的知識點如下：

基本統計量：均值、中位數、眾數、百分位數、極值等

其他描述性統計量：偏度、方差、標準差、顯著性等

其他統計知識：總體和樣本、參數和統計量、ErrorBar

概率分布與假設檢驗：各種分布、假設檢驗流程

其他概率論知識：條件概率、貝葉斯等

有了統計學的基本知識，你就可以用這些統計量做基本的分析了。你可以使用 Seaborn、matplotlib 等（python包）做一些可視化的分析，通過各種可視化統計圖，並得出具有指導意義的結果。

Python 數據分析

掌握回歸分析的方法，通過線性回歸和邏輯回歸，其實你就可以對大多數的數據進行回歸分析，並得出相對精確地結論。這部分需要掌握的知識點如下：

回歸分析：線性回歸、邏輯回歸

基本的分類演算法：決策樹、隨機森林……

基本的聚類演算法：k-means……

特徵工程基礎：如何用特徵選擇優化模型

調參方法：如何調節參數優化模型

Python 數據分析包：scipy、numpy、scikit-learn等

在數據分析的這個階段，重點了解回歸分析的方法，大多數的問題可以得以解決，利用描述性的統計分析和回歸分析，你完全可以得到一個不錯的分析結論。

當然，隨著你實踐量的增多，可能會遇到一些複雜的問題，你就可能需要去了解一些更高級的演算法：分類、聚類。

然後你會知道面對不同類型的問題的時候更適合用哪種演算法模型，對於模型的優化，你需要去了解如何通過特徵提取、參數調節來提升預測的精度。

你可以通過 Python 中的 scikit-learn 庫來實現數據分析、數據挖掘建模和分析的全過程。

總結

其實做數據挖掘不是夢，5步就能讓你成為一個Python爬蟲高手!

如何用Python做爬蟲

1）首先你要明白爬蟲怎樣工作。

想像你是一隻蜘蛛，現在你被放到了互聯「網」上。那麼，你需要把所有的網頁都看一遍。怎麼辦呢？沒問題呀，你就隨便從某個地方開始，比如說人民日報的首頁，這個叫initial pages，用$表示吧。

在人民日報的首頁，你看到那個頁面引向的各種鏈接。於是你很開心地從爬到了「國內新聞」那個頁面。太好了，這樣你就已經爬完了倆頁面（首頁和國內新聞）！暫且不用管爬下來的頁面怎麼處理的，你就想像你把這個頁面完完整整抄成了個html放到了你身上。

突然你發現， 在國內新聞這個頁面上，有一個鏈接鏈回「首頁」。作為一隻聰明的蜘蛛，你肯定知道你不用爬回去的吧，因為你已經看過了啊。所以，你需要用你的腦子，存下你已經看過的頁面地址。這樣，每次看到一個可能需要爬的新鏈接，你就先查查你腦子裡是不是已經去過這個頁面地址。如果去過，那就別去了。

好的，理論上如果所有的頁面可以從initial page達到的話，那麼可以證明你一定可以爬完所有的網頁。

那麼在python里怎麼實現呢？

很簡單

import Queue

initial_page = “初始化頁”

url_queue = Queue.Queue()

seen = set()

seen.insert(initial_page)

url_queue.put(initial_page)

while(True): #一直進行直到海枯石爛

if url_queue.size()0:

current_url = url_queue.get() #拿出隊例中第一個的url

store(current_url) #把這個url代表的網頁存儲好

for next_url in extract_urls(current_url): #提取把這個url里鏈向的url

if next_url not in seen:

seen.put(next_url)

url_queue.put(next_url)

else:

break

寫得已經很偽代碼了。

所有的爬蟲的backbone都在這裡，下面分析一下為什麼爬蟲事實上是個非常複雜的東西——搜索引擎公司通常有一整個團隊來維護和開發。

2）效率

如果你直接加工一下上面的代碼直接運行的話，你需要一整年才能爬下整個豆瓣的內容。更別說Google這樣的搜索引擎需要爬下全網的內容了。

問題出在哪呢？需要爬的網頁實在太多太多了，而上面的代碼太慢太慢了。設想全網有N個網站，那麼分析一下判重的複雜度就是N*log(N)，因為所有網頁要遍歷一次，而每次判重用set的話需要log(N)的複雜度。OK，OK，我知道python的set實現是hash——不過這樣還是太慢了，至少內存使用效率不高。

通常的判重做法是怎樣呢？Bloom Filter. 簡單講它仍然是一種hash的方法，但是它的特點是，它可以使用固定的內存（不隨url的數量而增長）以O(1)的效率判定url是否已經在set中。可惜天下沒有白吃的午餐，它的唯一問題在於，如果這個url不在set中，BF可以100%確定這個url沒有看過。但是如果這個url在set中，它會告訴你：這個url應該已經出現過，不過我有2%的不確定性。注意這裡的不確定性在你分配的內存足夠大的時候，可以變得很小很少。一個簡單的教程:Bloom Filters by Example

注意到這個特點，url如果被看過，那麼可能以小概率重複看一看（沒關係，多看看不會累死）。但是如果沒被看過，一定會被看一下（這個很重要，不然我們就要漏掉一些網頁了！）。 [IMPORTANT: 此段有問題，請暫時略過]

好，現在已經接近處理判重最快的方法了。另外一個瓶頸——你只有一台機器。不管你的帶寬有多大，只要你的機器下載網頁的速度是瓶頸的話，那麼你只有加快這個速度。用一台機子不夠的話——用很多台吧！當然，我們假設每台機子都已經進了最大的效率——使用多線程（python的話，多進程吧）。

3）集群化抓取

爬取豆瓣的時候，我總共用了100多台機器晝夜不停地運行了一個月。想像如果只用一台機子你就得運行100個月了…

那麼，假設你現在有100台機器可以用，怎麼用python實現一個分散式的爬取演算法呢？

我們把這100台中的99台運算能力較小的機器叫作slave，另外一台較大的機器叫作master，那麼回顧上面代碼中的url_queue，如果我們能把這個queue放到這台master機器上，所有的slave都可以通過網路跟master聯通，每當一個slave完成下載一個網頁，就向master請求一個新的網頁來抓取。而每次slave新抓到一個網頁，就把這個網頁上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現在master只發送確定沒有被訪問過的url給slave。Bloom Filter放到master的內存里，而被訪問過的url放到運行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪問效率見:LINSERT – Redis)

考慮如何用python實現：

在各台slave上裝好scrapy，那麼各台機子就變成了一台有抓取能力的slave，在master上裝好Redis和rq用作分散式隊列。

代碼於是寫成

#slave.py

current_url = request_from_master()

to_send = []

for next_url in extract_urls(current_url):

to_send.append(next_url)

store(current_url);

send_to_master(to_send)

#master.py

distributed_queue = DistributedQueue()

bf = BloomFilter()

initial_pages = “”

while(True):

if request == ‘GET’:

if distributed_queue.size()0:

send(distributed_queue.get())

else:

break

elif request == ‘POST’:

bf.put(request.url)

好的，其實你能想到，有人已經給你寫好了你需要的：darkrho/scrapy-redis · GitHub

4）展望及後處理

雖然上面用很多「簡單」，但是真正要實現一個商業規模可用的爬蟲並不是一件容易的事。上面的代碼用來爬一個整體的網站幾乎沒有太大的問題。

但是如果附加上你需要這些後續處理，比如

有效地存儲（資料庫應該怎樣安排）

有效地判重（這裡指網頁判重，咱可不想把人民日報和抄襲它的大民日報都爬一遍）

有效地信息抽取（比如怎麼樣抽取出網頁上所有的地址抽取出來，「朝陽區奮進路中華道」），搜索引擎通常不需要存儲所有的信息，比如圖片我存來幹嘛…

及時更新（預測這個網頁多久會更新一次）

如你所想，這裡每一個點都可以供很多研究者十數年的研究。雖然如此，

「路漫漫其修遠兮,吾將上下而求索」。

所以，不要問怎麼入門，直接上路就好了：）

學了python爬蟲還能幹什麼？

1、收集數據

Python爬蟲程序可用於收集數據。這也是最直接和最常用的方法。由於爬蟲程序是一個程序，程序運行得非常快，不會因為重複的事情而感到疲倦，因此使用爬蟲程序獲取大量數據變得非常簡單和快速。

由於99%以上的網站是基於模板開發的，使用模板可以快速生成大量布局相同、內容不同的頁面。因此，只要為一個頁面開發了爬蟲程序，爬蟲程序也可以對基於同一模板生成的不同頁面進行爬取內容。

2、調研

比如要調研一家電商公司，想知道他們的商品銷售情況。這家公司聲稱每月銷售額達數億元。如果你使用爬蟲來抓取公司網站上所有產品的銷售情況，那麼你就可以計算出公司的實際總銷售額。此外，如果你抓取所有的評論並對其進行分析，你還可以發現網站是否出現了刷單的情況。數據是不會說謊的，特別是海量的數據，人工造假總是會與自然產生的不同。過去，用大量的數據來收集數據是非常困難的，但是現在在爬蟲的幫助下，許多欺騙行為會赤裸裸地暴露在陽光下。

3、刷流量和秒殺

刷流量是Python爬蟲的自帶的功能。當一個爬蟲訪問一個網站時，如果爬蟲隱藏得很好，網站無法識別訪問來自爬蟲，那麼它將被視為正常訪問。結果，爬蟲不小心刷了網站的流量。

除了刷流量外，還可以參與各種秒殺活動，包括但不限於在各種電商網站上搶商品，優惠券，搶機票和火車票。目前，網路上很多人專門使用爬蟲來參與各種活動並從中賺錢。這種行為一般稱為薅羊毛，這種人被稱為羊毛黨。不過使用爬蟲來薅羊毛進行盈利的行為實際上遊走在法律的灰色地帶，大家不要嘗試。

如何入門 Python 爬蟲

「入門」是良好的動機，但是可能作用緩慢。如果你手裡或者腦子裡有一個項目，那麼實踐起來你會被目標驅動，而不會像學習模塊一樣慢慢學習。

另外如果說知識體系里的每一個知識點是圖裡的點，依賴關係是邊的話，那麼這個圖一定不是一個有向無環圖。因為學習A的經驗可以幫助你學習B。因此，你不需要學習怎麼樣「入門」，因為這樣的「入門」點根本不存在！你需要學習的是怎麼樣做一個比較大的東西，在這個過程中，你會很快地學會需要學會的東西的。當然，你可以爭論說需要先懂python，不然怎麼學會python做爬蟲呢？但是事實上，你完全可以在做這個爬蟲的過程中學習python :D看到前面很多答案都講的「術」——用什麼軟體怎麼爬，那我就講講「道」和「術」吧——爬蟲怎麼工作以及怎麼在python實現。

先長話短說總結一下。你需要學習：

基本的爬蟲工作原理

基本的http抓取工具，scrapy

Bloom Filter: Bloom

如果需要大規模網頁抓取，你需要學習分散式爬蟲的概念。其實沒那麼玄乎，你只要學會怎樣維護一個所有集群機器能夠有效分享的分散式隊列就好。最簡單的實現是python-rq: https: //github.com /nvie/rqrq和Scrapy的結合：darkrho/scrapy-redis · GitHub後續處理，網頁析取(grangier/python-goose · GitHub)，存儲(Mongodb)以下是短話長說。說說當初寫的一個集群爬下整個豆瓣的經驗吧。

1）首先你要明白爬蟲怎樣工作

想像你是一隻蜘蛛，現在你被放到了互聯「網」上。那麼，你需要把所有的網頁都看一遍。怎麼辦呢？沒問題呀，你就隨便從某個地方開始，比如說人民日報的首頁，這個叫initial pages，用$表示吧。

在人民日報的首頁，你看到那個頁面引向的各種鏈接。於是你很開心地從爬到了「國內新聞」那個頁面。太好了，這樣你就已經爬完了倆頁面（首頁和國內新聞）！暫且不用管爬下來的頁面怎麼處理的，你就想像你把這個頁面完完整整抄成了個html放到了你身上。

突然你發現， 在國內新聞這個頁面上，有一個鏈接鏈回「首頁」。作為一隻聰明的蜘蛛，你肯定知道你不用爬回去的吧，因為你已經看過了啊。所以，你需要用你的腦子，存下你已經看過的頁面地址。這樣，每次看到一個可能需要爬的新鏈接，你就先查查你腦子裡是不是已經去過這個頁面地址。如果去過，那就別去了。

好的，理論上如果所有的頁面可以從initial page達到的話，那麼可以證明你一定可以爬完所有的網頁。

那麼在python里怎麼實現呢？很簡單：

Python

import Queue

initial_page = “http:/ /www. renminribao. com”url_queue = Queue.Queue()seen = set()

seen.insert(initial_page)

url_queue.put(initial_page)

while(True): #一直進行直到海枯石爛

if url_queue.size()0:

current_url = url_queue.get() #拿出隊例中第一個的urlstore(current_url) #把這個url代表的網頁存儲好for next_url in extract_urls(current_url): #提取把這個url里鏈向的urlif next_url not in seen:

seen.put(next_url)

url_queue.put(next_url)

else:

break

import Queue

initial_page = “http:/ / .com”url_queue = Queue.Queue()seen = set()

seen.insert(initial_page)

url_queue.put(initial_page)

while(True): #一直進行直到海枯石爛

if url_queue.size()0:

current_url = url_queue.get() #拿出隊例中第一個的urlstore(current_url) #把這個url代表的網頁存儲好for next_url in extract_urls(current_url): #提取把這個url里鏈向的urlif next_url not in seen:

seen.put(next_url)

url_queue.put(next_url)

else:

break

寫得已經很偽代碼了。

所有的爬蟲的backbone都在這裡，下面分析一下為什麼爬蟲事實上是個非常複雜的東西——搜索引擎公司通常有一整個團隊來維護和開發。

2）效率

如果你直接加工一下上面的代碼直接運行的話，你需要一整年才能爬下整個豆瓣的內容。更別說Google這樣的搜索引擎需要爬下全網的內容了。

問題出在哪呢？需要爬的網頁實在太多太多了，而上面的代碼太慢太慢了。設想全網有N個網站，那麼分析一下判重的複雜度就是N*log(N)，因為所有網頁要遍歷一次，而每次判重用set的話需要log(N)的複雜度。OK，OK，我知道python的set實現是hash——不過這樣還是太慢了，至少內存使用效率不高。

通常的判重做法是怎樣呢？Bloom Filter。簡單講它仍然是一種hash的方法，但是它的特點是，它可以使用固定的內存（不隨url的數量而增長）以O(1)的效率判定url是否已經在set中。可惜天下沒有白吃的午餐，它的唯一問題在於，如果這個url不在set中，BF可以100%確定這個url沒有看過。但是如果這個url在set中，它會告訴你：這個url應該已經出現過，不過我有2%的不確定性。注意這裡的不確定性在你分配的內存足夠大的時候，可以變得很小很少。一個簡單的教程:Bloom Filters by Example注意到這個特點，url如果被看過，那麼可能以小概率重複看一看（沒關係，多看看不會累死）。但是如果沒被看過，一定會被看一下（這個很重要，不然我們就要漏掉一些網頁了！）。 [IMPORTANT: 此段有問題，請暫時略過]

好，現在已經接近處理判重最快的方法了。另外一個瓶頸——你只有一台機器。不管你的帶寬有多大，只要你的機器下載網頁的速度是瓶頸的話，那麼你只有加快這個速度。用一台機子不夠的話——用很多台吧！當然，我們假設每台機子都已經進了最大的效率——使用多線程（python的話，多進程吧）。

3）集群化抓取

爬取豆瓣的時候，我總共用了100多台機器晝夜不停地運行了一個月。想像如果只用一台機子你就得運行100個月了…那麼，假設你現在有100台機器可以用，怎麼用python實現一個分散式的爬取演算法呢？

我們把這100台中的99台運算能力較小的機器叫作slave，另外一台較大的機器叫作master，那麼回顧上面代碼中的url_queue，如果我們能把這個queue放到這台master機器上，所有的slave都可以通過網路跟master聯通，每當一個slave完成下載一個網頁，就向master請求一個新的網頁來抓取。而每次slave新抓到一個網頁，就把這個網頁上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現在master只發送確定沒有被訪問過的url給slave。Bloom Filter放到master的內存里，而被訪問過的url放到運行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪問效率見:LINSERT – Redis)考慮如何用python實現：

在各台slave上裝好scrapy，那麼各台機子就變成了一台有抓取能力的slave，在master上裝好Redis和rq用作分散式隊列。

代碼於是寫成：

Python

#slave.py

current_url = request_from_master()

to_send = []

for next_url in extract_urls(current_url):

to_send.append(next_url)

store(current_url);

send_to_master(to_send)

#master.py

distributed_queue = DistributedQueue()

bf = BloomFilter()

initial_pages = “www. renmingribao .com”

while(True):

if request == ‘GET’:

if distributed_queue.size()0:

send(distributed_queue.get())

else:

break

elif request == ‘POST’:

bf.put(request.url)

#slave.py

current_url = request_from_master()

to_send = []

for next_url in extract_urls(current_url):

to_send.append(next_url)

store(current_url);

send_to_master(to_send)

#master.py

distributed_queue = DistributedQueue()

bf = BloomFilter()

initial_pages = “www. renmingribao .com”

while(True):

if request == ‘GET’:

if distributed_queue.size()0:

send(distributed_queue.get())

else:

break

elif request == ‘POST’:

bf.put(request.url)

好的，其實你能想到，有人已經給你寫好了你需要的：darkrho/scrapy-redis · GitHub4）展望及後處理雖然上面用很多「簡單」，但是真正要實現一個商業規模可用的爬蟲並不是一件容易的事。上面的代碼用來爬一個整體的網站幾乎沒有太大的問題。

但是如果附加上你需要這些後續處理，比如

有效地存儲（資料庫應該怎樣安排）

有效地判重（這裡指網頁判重，咱可不想把人民日報和抄襲它的大民日報都爬一遍）有效地信息抽取（比如怎麼樣抽取出網頁上所有的地址抽取出來，「朝陽區奮進路中華道」），搜索引擎通常不需要存儲所有的信息，比如圖片我存來幹嘛…及時更新（預測這個網頁多久會更新一次）如你所想，這裡每一個點都可以供很多研究者十數年的研究。雖然如此，「路漫漫其修遠兮，吾將上下而求索」。

爬蟲python入門難學嗎

爬蟲是大家公認的入門Python最好方式，沒有之一。雖然Python有很多應用的方向，但爬蟲對於新手小白而言更友好，原理也更簡單，幾行代碼就能實現基本的爬蟲，零基礎也能快速入門，讓新手小白體會更大的成就感。因此小編整理了新手小白必看的Python爬蟲學習路線全面指導，希望可以幫到大家。

1.學習 Python 包並實現基本的爬蟲過程

大部分爬蟲都是按「發送請求——獲得頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。

如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多，一般的靜態網站根本不在話下。當然如果你需要爬取非同步載入的網站，可以學習瀏覽器抓包分析真實請求或者學習Selenium來實現自動化。

2.了解非結構化數據的存儲

爬回來的數據可以直接用文檔形式存在本地，也可以存入資料庫中。開始數據量不大的時候，你可以直接通過 Python 的語法或 pandas 的方法將數據存為csv這樣的文件。當然你可能發現爬回來的數據並不是乾淨的，可能會有缺失、錯誤等等，你還需要對數據進行清洗，可以學習 pandas 包的基本用法來做數據的預處理，得到更乾淨的數據。

3.學習scrapy，搭建工程化爬蟲

掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常複雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備Python爬蟲工程師的思維了。

4.學習資料庫知識，應對大規模數據存儲與提取

Python客棧送紅包、紙質書

爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前比較主流的 MongoDB 就OK。MongoDB 可以方便你去存儲一些非結構化的數據，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。因為這裡要用到的資料庫知識其實非常簡單，主要是數據如何入庫、如何進行提取，在需要的時候再學習就行。

5.掌握各種技巧，應對特殊網站的反爬措施

當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等。往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了。

6.分散式爬蟲，實現大規模並發採集，提升效率

爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分散式爬蟲。分散式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握Scrapy+ MongoDB + Redis 這三種工具。Scrapy 前面我們說過了，用於做基本的頁面爬取，MongoDB 用於存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務隊列。所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分散式的爬蟲的時候，那麼你可以去嘗試打造一些基本的爬蟲架構了，實現一些更加自動化的數據獲取。

只要按照以上的Python爬蟲學習路線，一步步完成，即使是新手小白也能成為老司機，而且學下來會非常輕鬆順暢。所以新手在一開始的時候，盡量不要系統地去啃一些東西，找一個實際的項目，直接開始操作。

其實學Python編程和練武功其實很相似，入門大致這樣幾步:找本靠譜的書,找個靠譜的師傅，找一個地方開始練習。

學語言也是這樣的：選一本通俗易懂的書，找一個好的視頻資料，然後自己裝一個IDE工具開始邊學邊寫。

7.給初學Python編程者的建議：

①信心。可能你看了視頻也沒在屏幕上做出點啥，都沒能把程序運行起來。但是要有自信，所有人都是這樣過來的。

②選擇適合自己的教程。有很早的書籍很經典，但是不是很適合你，很多書籍是我們學過一遍Python之後才會發揮很大作用。

③寫代碼，就是不斷地寫，練。這不用多說，學習什麼語言都是這樣。總看視頻，編不出東西。可以從書上的小案例開始寫，之後再寫完整的項目。

④除了學Python，計算機的基礎也要懂得很多，補一些英語知識也行。

⑤不但會寫，而且會看，看源碼是一個本領，調試代碼更是一個本領，就是解決問題的能力，挑錯。理解你自己的報錯信息，自己去解決。

⑥當你到達了一個水平，就多去看官方的文檔，在CSDN上面找下有關Python的博文或者群多去交流。

希望想學習Python的利用好現在的時間，管理好自己的學習時間，有效率地學習Python，Python這門語言可以做很多事情。

Python能做什麼，能夠開發什麼項目？

Python是一種計算機程序設計語言。是一種面向對象的動態類型語言，最初被設計用於編寫自動化腳本(shell)，隨著版本的不斷更新和語言新功能的添加，越來越多被用於獨立的、大型項目的開發。

Python是一種解釋型腳本語言，可以應用於Web 和 Internet開發、科學計算和統計、人工智慧、教育、桌面界面開發、軟體開發、後端開發這些領域。

Python的應用

1、系統編程

提供API（Application Programming Interface應用程序編程介面），能方便進行系統維護和管理，Linux下標誌性語言之一，是很多系統管理員理想的編程工具。

2、圖形處理

有PIL、Tkinter等圖形庫支持，能方便進行圖形處理。

3、數學處理

NumPy擴展提供大量與許多標準數學庫的介面。

4、文本處理

python提供的re模塊能支持正則表達式，還提供SGML，XML分析模塊，許多程序員利用python進行XML程序的開發。

5、資料庫編程

程序員可通過遵循Python DB-API（資料庫應用程序編程介面）規範的模塊與Microsoft SQL Server，Oracle，Sybase，DB2，MySQL、SQLite等資料庫通信。python自帶有一個Gadfly模塊，提供了一個完整的SQL環境。

6、網路編程

提供豐富的模塊支持sockets編程，能方便快速地開發分散式應用程序。很多大規模軟體開發計劃例如Zope，Mnet 及BitTorrent. Google都在廣泛地使用它。

7、Web編程

應用的開發語言，支持最新的XML技術。

8、多媒體應用

Python的PyOpenGL模塊封裝了「OpenGL應用程序編程介面」，能進行二維和三維圖像處理。PyGame模塊可用於編寫遊戲軟體。

9、pymo引擎

PYMO全稱為python memories off，是一款運行於Symbian S60V3,Symbian3,S60V5, Symbian3, Android系統上的AVG遊戲引擎。因其基於python2.0平台開發，並且適用於創建秋之回憶（memories off）風格的AVG遊戲，故命名為PYMO。

10、黑客編程

python有一個hack的庫,內置了你熟悉的或不熟悉的函數，但是缺少成就感。

參考資料來源：百度百科—Python