js爬取網頁內容（java爬蟲爬取網頁內容）

本文目錄一覽：

• 1、如果網頁內容是由javascript生成的，應該怎麼實現爬蟲
• 2、怎麼爬取網頁的動態內容，很多都是js動態生成的內容o
• 3、怎麼爬取網頁的動態內容，很多都是js動態生
• 4、如何爬取js加載後的頁面顯示內容
• 5、如何爬取網頁中js動態生成的數據

如果網頁內容是由javascript生成的，應該怎麼實現爬蟲

用神箭手雲爬蟲，完全在雲上編寫和執行爬蟲，不需要配置任何開發環境，快速開發快速實現。

簡單幾行 javascript 就可以實現複雜的爬蟲，同時提供很多功能函數：反反爬蟲、 js 渲染、數據發布、圖表分析、反防盜鏈等，這些在開發爬蟲過程中經常會遇到的問題都由神箭手幫你解決。

怎麼爬取網頁的動態內容，很多都是js動態生成的內容o

String url = “”;

try {

    WebClient webClient = new WebClient(BrowserVersion.FIREFOX_10);

    //設置webClient的相關參數

    webClient.getOptions().setJavaScriptEnabled(true);

    webClient.getOptions().setCssEnabled(false);

    webClient.setAjaxController(new NicelyResynchronizingAjaxController());

    //webClient.getOptions().setTimeout(50000);

    webClient.getOptions().setThrowExceptionOnScriptError(false);

    //模擬瀏覽器打開一個目標網址

    HtmlPage rootPage = webClient.getPage(url);

    System.out.println(“為了獲取js執行的數據 線程開始沉睡等待”);

    Thread.sleep(3000);//主要是這個線程的等待 因為js加載也是需要時間的

    System.out.println(“線程結束沉睡”);

    String html = rootPage.asText();

    System.out.println(html);

} catch (Exception e) {

}

怎麼爬取網頁的動態內容，很多都是js動態生

抓取動態頁面有兩種常用的方法，一是通過JavaScript逆向工程獲取動態數據接口（真實的訪問路徑），另一種是利用selenium庫模擬真實瀏覽器，獲取JavaScript渲染後的內容。但selenium庫用起來比較繁瑣，抓取速度相對較慢，所以第一種方法日常使用較多。

如何爬取js加載後的頁面顯示內容

1. 分析ajax數據

2. 提取抓取的js數據, 然後使用Rhino js引擎執行js並且獲取提取結果. (速度還是有些影響的)

如何爬取網頁中js動態生成的數據

String url = “”;

try {

    WebClient webClient = new WebClient(BrowserVersion.FIREFOX_10);

    //設置webClient的相關參數

    webClient.getOptions().setJavaScriptEnabled(true);

    webClient.getOptions().setCssEnabled(false);

    webClient.setAjaxController(new NicelyResynchronizingAjaxController());

    //webClient.getOptions().setTimeout(50000);

    webClient.getOptions().setThrowExceptionOnScriptError(false);

    //模擬瀏覽器打開一個目標網址

    HtmlPage rootPage = webClient.getPage(url);

    System.out.println(“為了獲取js執行的數據 線程開始沉睡等待”);

    Thread.sleep(3000);//主要是這個線程的等待 因為js加載也是需要時間的

    System.out.println(“線程結束沉睡”);

    String html = rootPage.asText();

    System.out.println(html);

} catch (Exception e) {

}