如何下載網頁json數據（如何下載網頁json數據庫）

本文目錄一覽：

• 1、xhr格式視頻如何下載
• 2、請問下java中封裝了json數據，在js中如何獲取json數據來頁面展示？
• 3、Excel如何抓取網頁數據之JSON數據抓取
• 4、用js怎麼把這個json拿下來自己網站用
• 5、請教高手，網頁數據抓取問題？

xhr格式視頻如何下載

首先打開需要下載的視頻，我選擇的是分析化學之儀器分析的網課視頻，按F12打開控制台

打開XHR，看到video關鍵字了嗎？這次我就告訴你這就是視頻相關內容的異步加載數據。

哦，原來是JSON數據啊，值得注意的是，每個視頻都要三個清晰度，而quality123分別代表了標清高清與超高清

諷刺的是，高清與超高清的視頻大小竟然是一樣的，我只能呵呵了

看到videoUrl裡面的mp4了嗎？說明這是mp4格式的學習視頻

在瀏覽器中打開，就是我想要的內容了

而其它視頻的格式不一定是這個，不同的格式有不同的處理方法，還要在最後加一步格式轉換

如果是m3u8，還要藉助其他程序轉換

如果要批量爬取，就要用request請求到json數據並得到url，再請求就可以了，用selenium模擬值得一試

操作方法

打開電影網站。示例網站

按下F12召喚開發者工具，去到Network一欄。往下看，有XHR，JS，CSS等等。我們只需要看到XHR這個標籤。點進去以後，你發現左側多了一堆東西，其中有一些內容包含了m3u8字符串。選中那一項，右側就會有Request URL這樣的東西（箭頭所指）。我們把這個URL複製（如果URL不是以m3u8結尾就把多餘的部分去掉）。

回到m3u8x。首先勾選Show options以及One…One。

然後將步驟2得到的m3u8鏈接分別貼上到箭頭所指位置。這裡順便科普一下，大家應該留意到一些視頻是可以切換解析度，這個就是Quality URL出現的原因。如果沒法選擇解析度 (URL/path) m3u8 和 Quality URL是一樣。Default Download Folder 和 Name就不用多講了吧。

一切準備就緒之後就點擊Download。如果沒有問題，點擊下載之後應該會彈出類似的界面。點Start Download即可靜待花開。

最後在Default Download Folder能找到一個文件夾，名字就和Name那一欄寫的一樣，裡面就有你要的視頻

請問下java中封裝了json數據，在js中如何獲取json數據來頁面展示？

你用的是response.sendRedirect執行的跳轉(不是foward)，那麼如果你這個index.jsp和你的java文件在一個project項目里的(術語叫同一個域內)。

1.用session來存儲java里的json，無論是json object還是String格式的json. 用setAttribute方法放到Session裡面，然偶跳轉到index,jsp

2.在jsp里同樣用session.getattribute獲得這個json數據，放到表單的某個位置，比如說放到文本框內，作為文本框的value.

3.jsp裡面的js代碼，getElementById或者這個文本框的value，然後alert出來

Excel如何抓取網頁數據之JSON數據抓取

打開Chrome，在拉勾網搜索深圳市的“數據分析”職位，使用檢查功能查看網頁源代碼，發現拉勾網有反爬蟲機制，職位信息並不在源代碼里，而是保存在JSON的文件里，因此我們直接下載JSON，並使用字典方法直接讀取數據。

抓取網頁時，需要加上頭部信息，才能獲取所需的數據。

在搜索結果的第一頁，我們可以從JSON里讀取總職位數，按照每頁15個職位，獲得要爬取的頁數。再使用循環按頁爬取，將職位信息匯總，輸出為CSV格式。

程序運行如圖：

抓取結果如圖：

數據清洗占數據分析工作量的大頭。在拉勾網搜索深圳市的“數據分析”職位，結果得到369個職位。查看職位名稱時，發現有4個實習崗位。由於我們研究的是全職崗位，所以先將實習崗位剔除。由於工作經驗和工資都是字符串形式的區間，我們先用正則表達式提取數值，輸出列表形式。工作經驗取均值，工資取區間的四分位數值，比較接近現實。

4. 詞雲

我們將職位福利這一列的數據匯總，生成一個字符串，按照詞頻生成詞雲實現python可視化。以下是原圖和詞雲的對比圖，可見五險一金在職位福利里出現的頻率最高，平台、福利、發展空間、彈性工作次之。

5. 描述統計

可知，數據分析師的均值在14.6K，中位數在12.5K，算是較有前途的職業。數據分析散布在各個行業，但在高級層面上涉及到數據挖掘和機器學習，在IT業有長足的發展。

我們再來看工資的分布，這對於求職來講是重要的參考：

工資在10-15K的職位最多，在15-20K的職位其次。個人愚見，10-15K的職位以建模為主，20K以上的職位以數據挖掘、大數據架構為主。

我們再來看職位在各區的分布：

數據分析職位有62.9%在南山區，有25.8%在福田區，剩下少數分布在龍崗區、羅湖區、寶安區、龍華新區。我們以小窺大，可知南山區和福田區是深圳市科技業的中心。

我們希望獲得工資與工作經驗、學歷的關係，由於學歷分三類，需設置3個虛擬變量：大專、本科、碩士。多元回歸結果如下：

在0.05的顯著性水平下，F值為82.53，說明回歸關係是顯著的。t檢驗和對應的P值都小於0.05表明，工作經驗和3種學歷在統計上都是顯著的。另外，R-squared的值為0.41，說明工作經驗和學歷僅僅解釋了工資變異性的41%。這點不難理解，即使職位都叫數據分析師，實際的工作內容差異比較大，有的只是用Excel做基本分析，有的用Python、R做數據挖掘。另外，各個公司的規模和它願意開出的工資也不盡相同。而工作內容的差異和公司的大方程度是很難單憑招聘網頁上的宣傳而獲得實際數據，導致了模型的擬合優度不是很好這一現實。

用js怎麼把這個json拿下來自己網站用

我能想到的就兩種方法，你試試

ajax,

創建script標籤，src填寫你的這個網址。在js中使用

請教高手，網頁數據抓取問題？

方法一：直接抓取網頁源碼

優點：速度快。

缺點：1，正由於速度快，易被服務器端檢測，可能會限制當前ip的抓取。對於這點，可以嘗試使用ip代碼解決。

2，如果你要抓取的數據，是在網頁加載完後，js修改了網頁元素，無法抓取。

3，遇到抓取一些大型網站，如果需要抓取如登錄後的頁面，可能需要破解服務器端帳號加密算法以及各種加密算法，及其考驗技術性。

適用場景：網頁完全靜態化，並且你要抓取的數據在網頁首次加載完成就加載出來了。涉及登錄或者權限操作的類似頁面未做任何帳號加密或只做簡單加密的。

當然，如果該網頁你抓取的數據，是通過接口獲得的json,那麼，你就更幸福的，直接抓取json頁面即可。

對於有登錄的頁面，我們如何拿到他的登錄頁之後的源碼呢？

首先我要介紹一下，對於session保存帳號信息的情況下，服務器是如何確定該用戶身份的。

首先，用戶登錄成功後，服務器端會將用戶的當前會話信息保存到session中，每一個session有一個唯一標誌sessionId。則用戶訪問這個頁面，session被創建後，就會接收到服務器端傳回的sessionId,並將其保存到cookie中，因此，我們可以用chrome瀏覽器打開檢查項，查看當前頁面的jsessionId。下次用戶訪問需要登錄的頁面時，用戶發送的請求頭會附上這個sessionId,服務器端通過這個sessionId就可以確定用戶的身份。

這裡，我搭建了一個簡單的jsp登錄頁面，登錄後的帳號信息保存在服務器端session中。

思路：1，登錄。2，登錄成功後獲得cookie。3,將cookie放到請求頭中，向登錄頁發送請求。

附上java版本的代碼及python

java版：