文庫下載python（文庫下載器app）

本文目錄一覽：

• 1、如何抓取百度文庫里的文檔內容
• 2、怎麼用python爬sf輕小說文庫的vip章節小說
• 3、python3 selenium3 如何點擊頁面中的按鈕，像百度文庫中的繼續瀏覽按鈕。

如何抓取百度文庫里的文檔內容

使用2345瀏覽器，全選文庫內文字轉至百度翻譯，然後複製百度翻譯頁面內的文字即可，步驟如下：

所需材料：2345瀏覽器。

一、打開你所需要複製的百度文庫頁面，選中要複製的文字內容。

二、右鍵點擊選中區域，彈出菜單內點擊“翻譯”。

三、這時會跳轉至百度翻譯頁面，而且選中的文字會出現在“待翻譯區”，這時全選這些文字。

四、右鍵點擊，彈出的菜單內點擊“複製”（在這裡複製就沒有任何限制了）。

五、打開Word等文檔軟件，Ctrl+V即可粘貼進去。

怎麼用python爬sf輕小說文庫的vip章節小說

你需要先購買vip，不然的話是爬不了的，除非系統有漏洞，記住爬蟲不是萬能的

步驟一：研究該網站

打開登錄頁面

進入以下頁面 “”。你會看到如下圖所示的頁面（執行註銷，以防你已經登錄）

仔細研究那些我們需要提取的詳細信息，以供登錄之用

在這一部分，我們會創建一個字典來保存執行登錄的詳細信息：

1. 右擊 “Username or email” 字段，選擇“查看元素”。我們將使用 “name” 屬性為 “username” 的輸入框的值。“username”將會是 key 值，我們的用戶名/電子郵箱就是對應的 value 值（在其他的網站上這些 key 值可能是 “email”，“ user_name”，“ login”，等等）。

2. 右擊 “Password” 字段，選擇“查看元素”。在腳本中我們需要使用 “name” 屬性為 “password” 的輸入框的值。“password” 將是字典的 key 值，我們輸入的密碼將是對應的 value 值（在其他網站key值可能是 “userpassword”，“loginpassword”，“pwd”，等等）。

3. 在源代碼頁面中，查找一個名為 “csrfmiddlewaretoken” 的隱藏輸入標籤。“csrfmiddlewaretoken” 將是 key 值，而對應的 value 值將是這個隱藏的輸入值（在其他網站上這個 value 值可能是一個名為 “csrftoken”，“ authenticationtoken” 的隱藏輸入值）。列如：“Vy00PE3Ra6aISwKBrPn72SFml00IcUV8”。

最後我們將會得到一個類似這樣的字典：

payload = {

“username”: “USER NAME”,

“password”: “PASSWORD”,

“csrfmiddlewaretoken”: “CSRF_TOKEN”

}

請記住，這是這個網站的一個具體案例。雖然這個登錄表單很簡單，但其他網站可能需要我們檢查瀏覽器的請求日誌，並找到登錄步驟中應該使用的相關的 key 值和 value 值。

步驟2：執行登錄網站

對於這個腳本，我們只需要導入如下內容：

import requests

from lxml import html

首先，我們要創建 session 對象。這個對象會允許我們保存所有的登錄會話請求。

session_requests = requests.session()

第二，我們要從該網頁上提取在登錄時所使用的 csrf 標記。在這個例子中，我們使用的是 lxml 和 xpath 來提取，我們也可以使用正則表達式或者其他的一些方法來提取這些數據。

login_url = “”

result = session_requests.get(login_url)

tree = html.fromstring(result.text)

authenticity_token = list(set(tree.xpath(“//input[@name=’csrfmiddlewaretoken’]/@value”)))[0]

**更多關於xpath 和lxml的信息可以在這裡找到。

接下來，我們要執行登錄階段。在這一階段，我們發送一個 POST 請求給登錄的 url。我們使用前面步驟中創建的 payload 作為 data 。也可以為該請求使用一個標題並在該標題中給這個相同的 url 添加一個參照鍵。

result = session_requests.post(

login_url,

data = payload,

headers = dict(referer=login_url)

)

步驟三：爬取內容

現在，我們已經登錄成功了，我們將從 bitbucket dashboard 頁面上執行真正的爬取操作。

url = ”

result = session_requests.get(

url,

headers = dict(referer = url)

)

為了測試以上內容，我們從 bitbucket dashboard 頁面上爬取了項目列表。我們將再次使用 xpath 來查找目標元素，清除新行中的文本和空格並打印出結果。如果一切都運行 OK，輸出結果應該是你 bitbucket 賬戶中的 buckets / project 列表。

Python

1

2

3

4

5

tree = html.fromstring(result.content)

bucket_elems = tree.findall(“.//span[@class=’repo-name’]/”)

bucket_names = [bucket.text_content.replace(“n”, “”).strip() for bucket in bucket_elems]

print bucket_names

你也可以通過檢查從每個請求返回的狀態代碼來驗證這些請求結果。它不會總是能讓你知道登錄階段是否是成功的，但是可以用來作為一個驗證指標。

例如：

Python

1

2

result.ok # 會告訴我們最後一次請求是否成功

result.status_code # 會返回給我們最後一次請求的狀態

就是這樣。

python3 selenium3 如何點擊頁面中的按鈕，像百度文庫中的繼續瀏覽按鈕。

先在命令行中下載一個selenium庫：

1

python -m pip install selenium

然後使用selenium中的webdriver來進行模擬網頁點擊：

1

2

3

4

5

6

7

8

9

from selenium import webdriver

from selenium.common.exceptions import TimeoutException

from selenium.webdriver.chrome.options import Options

from selenium.webdriver.support.ui import Select

from selenium.webdriver.support.ui import WebDriverWait

sel=webdriver.Chrome() #也可換成Ie()，Firefox()等

element=sel.find_element() #在網頁源碼中查找元素

element.click() #模擬對元素進行點擊

如果你是Chrome用戶，需要手動下載一個chromedriver.exe，這裡附上，把它放入系統Path路徑任意一個文件夾中即可