本文目錄一覽：
Python怎麼獲取網頁中js生成的數據
js代碼是需要js引擎運行的，Python只能通過HTTP請求獲取到HTML、CSS、JS原始代碼而已。
不知道有沒有用Python編寫的JS引擎，估計需求不大。
我一般用PhantomJS、CasperJS這些引擎來做瀏覽器抓取。
直接在其中寫JS代碼來做DOM操控、分析，以文件方式輸出結果。
讓Python去調用該程序，通過讀文件方式獲得內容。
python中如何調用js文件中的方法呢
1、打開pycharm開發工具，點擊File菜單，選擇Settings…，進行第三方模塊安裝；輸入selenium，點擊Install Package。
2、接著在python項目的指定文件夾下，滑鼠右鍵新建python文件，輸入文件名並點擊Python file。
3、打開新建的文件，依次導入selenium、webdriver和time。
4、調用webdriver模塊中的Chrome()，使用get()獲取對應網址的內容。
5、調用find_element_by_id()獲取對應頁面元素，然後調用按鈕點擊事件。
6、修改get()方法中的請求路徑，然後保存代碼並運行文件，查看運行結果。
python 有幾種方法可以獲取js動態源碼。 用哪種方法好
最好的方法就是使用selenium這種庫哦。簡單介紹一下selenium，這本身是一種網站自動測試的庫，所以可以模擬用戶的所有交互行為，包括輸入、點擊、拖拉、滾動等等和用戶完全相同的操作，所以也和真正打開網頁一樣，可以響應Javascript的行為，可以載入JS非同步載入的網頁。selenium最好配合PhantomJS使用，這樣就沒有界面，完全自動處理哦。
如何用python抓取js生成的數據
一、查看相應的js代碼，用python獲取原始數據之後，模仿js編寫相應的python代碼。
二、通過介面api獲得數據，直接使用python獲取介面數據並處理。
三。終極方法。使用 Selenium和PhantomJS執行網頁js代碼，然後再獲取數據，這種方法100%可以獲取數據，確定就是速度太慢。
原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-tw/n/289209.html
微信掃一掃 
支付寶掃一掃 