python爬取網頁日期（用python爬取網頁數據）

本文目錄一覽：

• 1、如何入門 Python 爬蟲
• 2、如何設置python爬蟲的爬取時間
• 3、python 怎樣爬去網頁的內容
• 4、Python網頁解析庫：用requests-html爬取網頁
• 5、python爬取pdf中的日期

如何入門 Python 爬蟲

個人覺得：

新手學習python爬取網頁先用下面4個庫就夠了：（第4個是實在搞不定用的，當然某些特殊情況它也可能搞不定）

1. 打開網頁，下載文件：urllib

2. 解析網頁：BeautifulSoup，熟悉JQuery的可以用Pyquery

3. 使用Requests來提交各種類型的請求，支持重定向，cookies等。

4. 使用Selenium，模擬瀏覽器提交類似用戶的操作，處理js動態產生的網頁

這幾個庫有它們各自的功能。配合起來就可以完成爬取各種網頁並分析的功能。具體的用法可以查他們的官網手冊(上面有鏈接)。

做事情是要有驅動的，如果你沒什麼特別想抓取的，新手學習可以從這個闖關網站開始

，目前更新到第五關，闖過前四關，你應該就掌握了這些庫的基本操作。

實在闖不過去，再到這裡看題解吧，第四關會用到並行編程。（串行編程完成第四關會很費時間哦），第四，五關只出了題，還沒發佈題解。。。

學完這些基礎，再去學習scrapy這個強大的爬蟲框架會更順些。這裡有它的中文介紹。

這是我在知乎的回答，直接轉過來有些鏈接沒有生效，可以到這裡看原版，

如何設置python爬蟲的爬取時間

將網頁page source 保存到數據庫（mongodb）中，每次取得新的page source 和數據庫中的page source 的hash 值是不是想等，如果不等表示有更新。

這個判斷有了，爬蟲爬取時間策略就好辦了。

自己動手實現吧。

python 怎樣爬去網頁的內容

用python爬取網頁信息的話，需要學習幾個模塊，urllib，urllib2，urllib3，requests，httplib等等模塊，還要學習re模塊（也就是正則表達式）。根據不同的場景使用不同的模塊來高效快速的解決問題。

最開始我建議你還是從最簡單的urllib模塊學起，比如爬新浪首頁（聲明：本代碼只做學術研究，絕無攻擊用意）：

這樣就把新浪首頁的源代碼爬取到了，這是整個網頁信息，如果你要提取你覺得有用的信息得學會使用字符串方法或者正則表達式了。

平時多看看網上的文章和教程，很快就能學會的。

補充一點：以上使用的環境是python2，在python3中，已經把urllib，urllib2，urllib3整合為一個包，而不再有這幾個單詞為名字的模塊。

Python網頁解析庫：用requests-html爬取網頁

Python 中可以進行網頁解析的庫有很多，常見的有 BeautifulSoup 和 lxml 等。在網上玩爬蟲的文章通常都是介紹 BeautifulSoup 這個庫，我平常也是常用這個庫，最近用 Xpath 用得比較多，使用 BeautifulSoup 就不大習慣，很久之前就知道 Reitz 大神出了一個叫 Requests-HTML 的庫，一直沒有興趣看，這回可算歹着機會用一下了。

使用 pip install requests-html 安裝，上手和 Reitz 的其他庫一樣，輕鬆簡單：

這個庫是在 requests 庫上實現的，r 得到的結果是 Response 對象下面的一個子類，多個一個 html 的屬性。所以 requests 庫的響應對象可以進行什麼操作，這個 r 也都可以。如果需要解析網頁，直接獲取響應對象的 html 屬性：

不得不膜拜 Reitz 大神太會組裝技術了。實際上 HTMLSession 是繼承自 requests.Session 這個核心類，然後將 requests.Session 類里的 requests 方法改寫，返回自己的一個 HTMLResponse 對象，這個類又是繼承自 requests.Response,只是多加了一個 _from_response 的方法來構造實例：

之後在 HTMLResponse 里定義屬性方法 html，就可以通過 html 屬性訪問了,實現也就是組裝 PyQuery 來干。核心的解析類也大多是使用 PyQuery 和 lxml 來做解析，簡化了名稱，挺討巧的。

元素定位可以選擇兩種方式：

方法名非常簡單，符合 Python 優雅的風格，這裡不妨對這兩種方式簡單的說明：

定位到元素以後勢必要獲取元素裏面的內容和屬性相關數據，獲取文本：

獲取元素的屬性：

還可以通過模式來匹配對應的內容：

這個功能看起來比較雞肋，可以深入研究優化一下，說不定能在 github 上混個提交。

除了一些基礎操作，這個庫還提供了一些人性化的操作。比如一鍵獲取網頁的所有超鏈接，這對於整站爬蟲應該是個福音，URL 管理比較方便：

內容頁面通常都是分頁的，一次抓取不了太多，這個庫可以獲取分頁信息：

結果如下：

通過迭代器實現了智能發現分頁，這個迭代器裏面會用一個叫 _next 的方法，貼一段源碼感受下：

通過查找 a 標籤裏面是否含有指定的文本來判斷是不是有下一頁，通常我們的下一頁都會通過 下一頁 或者 加載更多 來引導，他就是利用這個標誌來進行判斷。默認的以列表形式存在全局： [‘next’,’more’,’older’] 。我個人認為這種方式非常不靈活，幾乎沒有擴展性。 感興趣的可以往 github 上提交代碼優化。

也許是考慮到了現在 js 的一些異步加載，這個庫支持 js 運行時，官方說明如下：

使用非常簡單，直接調用以下方法：

第一次使用的時候會下載 Chromium，不過國內你懂的，自己想辦法去下吧，就不要等它自己下載了。render 函數可以使用 js 腳本來操作頁面，滾動操作單獨做了參數。這對於上拉加載等新式頁面是非常友好的。

python爬取pdf中的日期

camelot模塊。

PDF文件無疑是最常用的文件格式之一，小到教材、課件，大到合同、規劃書，我們都能見到這種文件格式但如何從PDF文件中提取其中的表格，這卻是一個大難題因為PDF中沒有一個內部的表示方式來表示一個表格這使得表格數據很難被抽取出來做分析。

camelot是Python的一個模塊，它能夠讓任何人輕鬆地從PDF文件中提取表格數據。