python加載js溢出,python爬取js加載的網頁

本文目錄一覽：

• 1、python 下用selenium打開phantomjs出錯，請問如何處理
• 2、哪些操作會導致Python內存溢出，怎麼處理？
• 3、python中如何調用js文件中的方法呢

python 下用selenium打開phantomjs出錯，請問如何處理

python的js解析，發現使用Selenium+PhantomJS的方案還是比較適合我的，以下是環境配置教程。

Selenium及PhantomJS介紹：

Selenium是一個用於Web應用程序測試的工具，Selenium測試直接運行在瀏覽器中，就像真正的用戶在操作一樣。支持的瀏覽器包括IE、Mozilla Firefox、Chrome等。

Phantom JS是一個服務器端的 JavaScript API 的 WebKit。其支持各種Web標準： DOM 處理, CSS 選擇器, JSON, Canvas, 和 SVG。

安裝環境：

Windows 7 （64位）

python 2.7.8

配置過程：

1、使用pip安裝Selenium，如果沒有安裝pip的請參考我之前的博客文章。

命令： pip install -U selenium

2、安裝PhantomJS，到PhantomJS的官方網站上下載，然後放到python的安裝目錄。

PhantomJS下載

如果想使用Chrome來實現解析的，請下載GG瀏覽器的相應驅動（同時需要安裝chrome瀏覽器），如上圖中的第一個程序，第二個程序就是PhantomJS了。

如果想使用Firefox來實現解析，則需要安裝Selenium提供的firefox插件，位於python安裝目錄Lib\site-packages\selenium\webdriver\firefox\webdriver.xpi,請拖入到firefox瀏覽器中，然後重啟瀏覽器即可。

Selenium+PhantomJS使用：

使用方法很簡單，代碼如下，如果成功打印出網站的標題，那麼說明已經可以成功使用了。

from selenium import webdriver

driver = webdriver.PhantomJS() #webdriver.Firefox()driver.get(‘httpcn/’)

print driver.title

driver.quit()

哪些操作會導致Python內存溢出，怎麼處理？

一、Python內存溢出原因

1、內存中加載的數據量過於龐大，如一次從數據庫取出過多數據； 一般比如數據查詢未做分頁處理。

2、集合類中有對對象的引用，使用完後未清空，使得JVM不能回收。

3、代碼中存在死循環或循環產生過多重複的對象實體。

4、使用的第三方軟件中的BUG； 一般引用第三方jar包過多會出現此類問題。

5、啟動參數內存值設定的過小 這種可能性很小服務器參數設置一般會出現這類問題畢竟都是開發。

二、Python內存溢出的解決方案

第一步：

修改JVM啟動參數，直接堆內存( -Xms，-Xmx參數一定不要忘記加 )。

第二步：

檢查錯誤日誌，查看「OutOfMemory」錯誤前是否有其 它異常或錯誤。

第三步：

對代碼進行走查和分析，找出可能發生內存溢出的位置。

如果我的回答對您有所幫助，記得點亮採納哦，謝謝啦！

python中如何調用js文件中的方法呢

1、打開pycharm開發工具，點擊File菜單，選擇Settings…，進行第三方模塊安裝；輸入selenium，點擊Install Package。

2、接着在python項目的指定文件夾下，鼠標右鍵新建python文件，輸入文件名並點擊Python file。

3、打開新建的文件，依次導入selenium、webdriver和time。

4、調用webdriver模塊中的Chrome()，使用get()獲取對應網址的內容。

5、調用find_element_by_id()獲取對應頁面元素，然後調用按鈕點擊事件。

6、修改get()方法中的請求路徑，然後保存代碼並運行文件，查看運行結果。