python爬蟲011（Python爬蟲技術有哪些數據包）

本文目錄一覽：

• 1、python的爬蟲是什麼意思
• 2、如何用Python做爬蟲
• 3、如何學習python爬蟲
• 4、如何入門 Python 爬蟲?

python的爬蟲是什麼意思

Python爬蟲即使用Python程序開發的網絡爬蟲（網頁蜘蛛，網絡機械人），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。其實通俗的講就是通過程序去獲取 web 頁面上自己想要的數據，也就是自動抓取數據。網絡爬蟲（英語：web crawler），也叫網絡蜘蛛（spider），是一種用來自動瀏覽萬維網的網絡機械人。其目的一般為編纂網絡索引。

網絡搜索引擎等站點通過爬蟲軟件更新自身的網站內容或其對其他網站的索引。網絡爬蟲可以將自己所訪問的頁面保存下來，以便搜索引擎事後生成索引供用戶搜索。

爬蟲訪問網站的過程會消耗目標系統資源。不少網絡系統並不默許爬蟲工作。因此在訪問大量頁面時，爬蟲需要考慮到規劃、負載，還需要講「禮貌」。 不願意被爬蟲訪問、被爬蟲主人知曉的公開站點可以使用robots.txt文件之類的方法避免訪問。這個文件可以要求機械人只對網站的一部分進行索引，或完全不作處理。

互聯網上的頁面極多，即使是最大的爬蟲系統也無法做出完整的索引。因此在公元2000年之前的萬維網出現初期，搜索引擎經常找不到多少相關結果。現在的搜索引擎在這方面已經進步很多，能夠即刻給出高質量結果。

爬蟲還可以驗證超鏈接和HTML代碼，用於網絡抓取。

Python 爬蟲

Python 爬蟲架構

Python 爬蟲架構主要由五個部分組成，分別是調度器、URL 管理器、網頁下載器、網頁解析器、應用程序（爬取的有價值數據）。

調度器：相當於一台電腦的 CPU，主要負責調度 URL 管理器、下載器、解析器之間的協調工作。

URL 管理器：包括待爬取的 URL 地址和已爬取的 URL 地址，防止重複抓取 URL 和循環抓取 URL，實現 URL 管理器主要用三種方式，通過內存、數據庫、緩存數據庫來實現。

網頁下載器：通過傳入一個 URL 地址來下載網頁，將網頁轉換成一個字符串，網頁下載器有 urlpb2（Python 官方基礎模塊）包括需要登錄、代理、和 cookie，requests(第三方包)

網頁解析器：將一個網頁字符串進行解析，可以按照我們的要求來提取出我們有用的信息，也可以根據 DOM 樹的解析方式來解析。網頁解析器有正則表達式（直觀，將網頁轉成字符串通過模糊匹配的方式來提取有價值的信息，當文檔比較複雜的時候，該方法提取數據的時候就會非常的困難）、html.parser（Python 自帶的）、beautifulsoup（第三方插件，可以使用 Python 自帶的 html.parser 進行解析，也可以使用 lxml 進行解析，相對於其他幾種來說要強大一些）、lxml（第三方插件，可以解析 xml 和 HTML），html.parser 和 beautifulsoup 以及 lxml 都是以 DOM 樹的方式進行解析的。

應用程序：就是從網頁中提取的有用數據組成的一個應用。

爬蟲可以做什麼？

你可以用爬蟲爬圖片，爬取視頻等等你想要爬取的數據，只要你能通過瀏覽器訪問的數據都可以通過爬蟲獲取。

爬蟲的本質是什麼？

模擬瀏覽器打開網頁，獲取網頁中我們想要的那部分數據

瀏覽器打開網頁的過程：

當你在瀏覽器中輸入地址後，經過 DNS 服務器找到服務器主機，向服務器發送一個請求，服務器經過解析後發送給用戶瀏覽器結果，包括 html,js,css 等文件內容，瀏覽器解析出來最後呈現給用戶在瀏覽器上看到的結果

所以用戶看到的瀏覽器的結果就是由 HTML 代碼構成的，我們爬蟲就是為了獲取這些內容，通過分析和過濾 html 代碼，從中獲取我們想要資源。

相關推薦：《Python教程》以上就是小編分享的關於python的爬蟲是什麼意思的詳細內容希望對大家有所幫助，更多有關python教程請關注環球青藤其它相關文章！

如何用Python做爬蟲

1）首先你要明白爬蟲怎樣工作。

想像你是一隻蜘蛛，現在你被放到了互聯「網」上。那麼，你需要把所有的網頁都看一遍。怎麼辦呢？沒問題呀，你就隨便從某個地方開始，比如說人民日報的首頁，這個叫initial pages，用$表示吧。

在人民日報的首頁，你看到那個頁面引向的各種鏈接。於是你很開心地從爬到了「國內新聞」那個頁面。太好了，這樣你就已經爬完了倆頁面（首頁和國內新聞）！暫且不用管爬下來的頁面怎麼處理的，你就想像你把這個頁面完完整整抄成了個html放到了你身上。

突然你發現， 在國內新聞這個頁面上，有一個鏈接鏈回「首頁」。作為一隻聰明的蜘蛛，你肯定知道你不用爬回去的吧，因為你已經看過了啊。所以，你需要用你的腦子，存下你已經看過的頁面地址。這樣，每次看到一個可能需要爬的新鏈接，你就先查查你腦子裡是不是已經去過這個頁面地址。如果去過，那就別去了。

好的，理論上如果所有的頁面可以從initial page達到的話，那麼可以證明你一定可以爬完所有的網頁。

那麼在python里怎麼實現呢？

很簡單

import Queue

initial_page = “初始化頁”

url_queue = Queue.Queue()

seen = set()

seen.insert(initial_page)

url_queue.put(initial_page)

while(True): #一直進行直到海枯石爛

if url_queue.size()0:

current_url = url_queue.get() #拿出隊例中第一個的url

store(current_url) #把這個url代表的網頁存儲好

for next_url in extract_urls(current_url): #提取把這個url里鏈向的url

if next_url not in seen:

seen.put(next_url)

url_queue.put(next_url)

else:

break

寫得已經很偽代碼了。

所有的爬蟲的backbone都在這裡，下面分析一下為什麼爬蟲事實上是個非常複雜的東西——搜索引擎公司通常有一整個團隊來維護和開發。

2）效率

如果你直接加工一下上面的代碼直接運行的話，你需要一整年才能爬下整個豆瓣的內容。更別說Google這樣的搜索引擎需要爬下全網的內容了。

問題出在哪呢？需要爬的網頁實在太多太多了，而上面的代碼太慢太慢了。設想全網有N個網站，那麼分析一下判重的複雜度就是N*log(N)，因為所有網頁要遍歷一次，而每次判重用set的話需要log(N)的複雜度。OK，OK，我知道python的set實現是hash——不過這樣還是太慢了，至少內存使用效率不高。

通常的判重做法是怎樣呢？Bloom Filter. 簡單講它仍然是一種hash的方法，但是它的特點是，它可以使用固定的內存（不隨url的數量而增長）以O(1)的效率判定url是否已經在set中。可惜天下沒有白吃的午餐，它的唯一問題在於，如果這個url不在set中，BF可以100%確定這個url沒有看過。但是如果這個url在set中，它會告訴你：這個url應該已經出現過，不過我有2%的不確定性。注意這裡的不確定性在你分配的內存足夠大的時候，可以變得很小很少。一個簡單的教程:Bloom Filters by Example

注意到這個特點，url如果被看過，那麼可能以小概率重複看一看（沒關係，多看看不會累死）。但是如果沒被看過，一定會被看一下（這個很重要，不然我們就要漏掉一些網頁了！）。 [IMPORTANT: 此段有問題，請暫時略過]

好，現在已經接近處理判重最快的方法了。另外一個瓶頸——你只有一台機器。不管你的帶寬有多大，只要你的機器下載網頁的速度是瓶頸的話，那麼你只有加快這個速度。用一台機子不夠的話——用很多台吧！當然，我們假設每台機子都已經進了最大的效率——使用多線程（python的話，多進程吧）。

3）集群化抓取

爬取豆瓣的時候，我總共用了100多台機器晝夜不停地運行了一個月。想像如果只用一台機子你就得運行100個月了…

那麼，假設你現在有100台機器可以用，怎麼用python實現一個分佈式的爬取算法呢？

我們把這100台中的99台運算能力較小的機器叫作slave，另外一台較大的機器叫作master，那麼回顧上面代碼中的url_queue，如果我們能把這個queue放到這台master機器上，所有的slave都可以通過網絡跟master聯通，每當一個slave完成下載一個網頁，就向master請求一個新的網頁來抓取。而每次slave新抓到一個網頁，就把這個網頁上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現在master只發送確定沒有被訪問過的url給slave。Bloom Filter放到master的內存里，而被訪問過的url放到運行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪問效率見:LINSERT – Redis)

考慮如何用python實現：

在各台slave上裝好scrapy，那麼各台機子就變成了一台有抓取能力的slave，在master上裝好Redis和rq用作分佈式隊列。

代碼於是寫成

#slave.py

current_url = request_from_master()

to_send = []

for next_url in extract_urls(current_url):

to_send.append(next_url)

store(current_url);

send_to_master(to_send)

#master.py

distributed_queue = DistributedQueue()

bf = BloomFilter()

initial_pages = “”

while(True):

if request == ‘GET’:

if distributed_queue.size()0:

send(distributed_queue.get())

else:

break

elif request == ‘POST’:

bf.put(request.url)

好的，其實你能想到，有人已經給你寫好了你需要的：darkrho/scrapy-redis · GitHub

4）展望及後處理

雖然上面用很多「簡單」，但是真正要實現一個商業規模可用的爬蟲並不是一件容易的事。上面的代碼用來爬一個整體的網站幾乎沒有太大的問題。

但是如果附加上你需要這些後續處理，比如

有效地存儲（數據庫應該怎樣安排）

有效地判重（這裡指網頁判重，咱可不想把人民日報和抄襲它的大民日報都爬一遍）

有效地信息抽取（比如怎麼樣抽取出網頁上所有的地址抽取出來，「朝陽區奮進路中華道」），搜索引擎通常不需要存儲所有的信息，比如圖片我存來幹嘛…

及時更新（預測這個網頁多久會更新一次）

如你所想，這裡每一個點都可以供很多研究者十數年的研究。雖然如此，

「路漫漫其修遠兮,吾將上下而求索」。

所以，不要問怎麼入門，直接上路就好了：）

如何學習python爬蟲

爬蟲是入門Python最好的方式，沒有之一。 Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而

言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。

掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的

使用，以及如何查找文檔你都非常熟悉了。

對於小白來說，爬蟲可能是一件非常複雜、技術門檻很高的事情。比如有的人則認為先要掌握網頁的知識，遂 開始 HTMLCSS，結果入了前端的坑 ，瘁……

但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從 一開始就要有一個具體的目標。

在目標的驅動下，你的學習才會更加精準和高效。 那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。 這裡給你一

條平滑的、零基礎快速入門的學習路徑。

python學習網，免費的python學習網站，歡迎在線學習！

學習 Python 包並實現基本的爬蟲過程

大部分爬蟲都是按 「發送請求——獲得頁面——解析頁面——抽取並儲存內容」 這樣的流程來進行，這其實也是模擬了我們使用瀏覽器

獲取網頁信息的過程。

Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等， 建議從requests+Xpath 開始 ，requests 負責連接網

站，返回網頁，Xpath 用於解析網頁，便於抽取數據。

如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多， 一

般的靜態網站根本不在話下，豆瓣、糗事百科、騰訊新聞等基本上都可以上手了 。

掌握各種技巧，應對特殊網站的反爬措施

當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態加載等等。

遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如 訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等 。

往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了。

學習 scrapy，搭建工程化的爬蟲

掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常複雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy

框架就非常有用了。

scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人

驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。

學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。

學習數據庫基礎，應對大規模數據存儲

爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種數據庫是必須的，學習目前

比較主流的 MongoDB 就OK。

MongoDB 可以方便你去存儲一些非結構化的數據 ，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在

Python中操作MongoDB。

因為這裡要用到的數據庫知識其實非常簡單，主要是 數據如何入庫、如何進行提取 ，在需要的時候再學習就行。

分佈式爬蟲，實現大規模並發採集

爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字： 分佈

式爬蟲 。

分佈式這個東西，聽起來很恐怖， 但其實就是利用多線程的原理讓多個爬蟲同時工作 ，需要你掌握 Scrapy + MongoDB + Redis 這三種工具 。

Scrapy 前面我們說過了，用於做基本的頁面爬取，MongoDB 用於存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務

隊列。

所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分佈式的爬蟲的時候，那麼你可以去嘗試打造一些基本的爬蟲架

構了，實現一些更加自動化的數據獲取。

你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，盡量不要系統地去啃一些東西，找一個實際

的項目（開始可以從豆瓣、小豬這種簡單的入手），直接開始就好 。

如何入門 Python 爬蟲?

「入門」是良好的動機，但是可能作用緩慢。如果你手裡或者腦子裡有一個項目，那麼實踐起來你會被目標驅動，而不會像學習模塊一樣慢慢學習。

如果你想要入門Python爬蟲，你需要做很多準備。首先是熟悉python編程；其次是了解HTML；

還要了解網絡爬蟲的基本原理；最後是學習使用python爬蟲庫。

如果你不懂python，那麼需要先學習python這門非常easy的語言。編程語言基礎語法無非是數據類型、數據結構、運算符、邏輯結構、函數、文件IO、錯誤處理這些，學起來會顯枯燥但並不難。

剛開始入門爬蟲，你甚至不需要去學習python的類、多線程、模塊之類的略難內容。找一個面向初學者的教材或者網絡教程，花個十幾天功夫，就能對python基礎有個三四分的認識了。

網絡爬蟲的含義：

網絡爬蟲，其實也可以叫做網絡數據採集更容易理解。就是通過編程向網絡服務器請求數據（HTML表單），然後解析HTML，提取出自己想要的數據。

這會涉及到數據庫、網絡服務器、HTTP協議、HTML、數據科學、網絡安全、圖像處理等非常多的內容。但對於初學者而言，並不需要掌握這麼多。