如何用python爬取淘寶數據「python爬取淘寶數據的步驟」

聽說最近車厘子的價格突然猛跌,之前很多人夢寐以求的「車厘子自由」,現在都能實現了。其實車厘子的價格下降,主要原因是進口貨運成本的大大降低,為了找到車厘子最佳的購買方式,我決定用python+BI進行數據分析。

因此我在淘寶上用python爬取了3000條數據,然後導入到了FineBI中進行可視化分析,最終製作出了下面這樣一份可視化報告:

Python+BI爬取3000條車厘子數據,發現了這些秘密

下面我展示一下操作過程:

一、數據獲取

用Python在淘寶上進行數據爬取是老生常談的操作了,直接在淘寶上搜索「車厘子」,在下面的商品頁中可以看到,我們這次主要爬取的標籤是「商品名稱」、「價格」、「付款人數」、「店鋪名稱」、「發貨地址」等:

Python+BI爬取3000條車厘子數據,發現了這些秘密

按下F12,調出後台查看源代碼,找到不同的商品標籤代碼,比如價格是「price g_price g_price-highlight”>」,付款人數是「deal-cnt」等:

Python+BI爬取3000條車厘子數據,發現了這些秘密

了解了網頁的代碼結構之後,下一步就可以在python里直接編寫代碼了,具體過程不詳細介紹了,部分代碼如下:

Python+BI爬取3000條車厘子數據,發現了這些秘密

爬取完數據之後導入到Excel里,然後在Excel里經過簡單的數據清洗和處理,最終得到一份完成的數據表:

Python+BI爬取3000條車厘子數據,發現了這些秘密

二、數據分析

python雖然也能實現數據分析的功能,但是需要敲代碼,學習成本和難度都比較大,不如直接利用專業的數據分析工具進行分析,比如常見的比如FineBI、Tableau、PowerBI等。

下面我直接以FineBI為例,FineBI是國內知名度比較高的本土數據分析工具,比起tableau這些國外工具最大的優點就是簡單、靈活,只需要用鼠標拖拽就能實現各種分析操作,基本不需要寫代碼,對新手非常友好。

Python+BI爬取3000條車厘子數據,發現了這些秘密

其實FineBI本質上屬於企業級的業務數據分析平台,除了數據分析之外,還能實現數據管理、數據平台搭建等功能,這裡就不詳細介紹了,大家感興趣的話我下一篇再介紹。

有了excel源表,首先我們將Excel導入到FineBI中:

Python+BI爬取3000條車厘子數據,發現了這些秘密

然後直接點擊頁面左上角的「創建儀錶板」,就可以進入到可視化後台:

Python+BI爬取3000條車厘子數據,發現了這些秘密

下一步進入到儀錶板進行可視化操作,基本步驟是「選擇圖表類型——選擇指標和維度——拖拽到指定坐標軸——美化細節」,比如我想要創建一張可視化地圖,首先要先選擇圖表類型為「區域地圖」,然後要選擇指標和維度,但是原數據表裡沒有地理緯度,因此需要自己創建:

Python+BI爬取3000條車厘子數據,發現了這些秘密

最後,我們再拖拽到指定坐標軸,然後美化細節就可以完成一張可視化地圖了:

Python+BI爬取3000條車厘子數據,發現了這些秘密

以此類推,其他的可視化圖表也能夠按照我們自己的需求進行製作,這裡不詳細講了。

三、數據可視化

1、車厘子銷量分佈情況

Python+BI爬取3000條車厘子數據,發現了這些秘密

可以看出來國內車厘子最大的銷量來自上海,以及浙江、廣東兩省,西藏、青海、內蒙古等省份都沒有銷量,基本上來說沿海地區的銷量要高於內陸。

2、各省份銷量情況

Python+BI爬取3000條車厘子數據,發現了這些秘密

通過條形圖就更明顯了,上海的銷量有20多萬,幾乎是浙江、廣東、四川的總和。

3、各城市的銷量情況

Python+BI爬取3000條車厘子數據,發現了這些秘密

篩選出了銷量前十的城市,以及每個城市平均的車厘子價格,可以看出來上海的銷量和價格都是最高的,可以看出上海的購買力有多強了;

4、車厘子的價格區間情況

Python+BI爬取3000條車厘子數據,發現了這些秘密

數據表裡將價格區間分為「50以下」、「50-100」、「100-150」、「150-200」、「200-500」、「500以上」等,可以看出來佔比最大的價格區間是「50-100」,這應該屬於平民價格了;值得注意的是「200-500」的價格佔比也高於「100-150」。

5、各門店的銷量與價格情況

Python+BI爬取3000條車厘子數據,發現了這些秘密
Python+BI爬取3000條車厘子數據,發現了這些秘密

可以看出銷量最高的基本都是旗艦店,最高的平均價格基本在600-800左右;

原創文章,作者:投稿專員,如若轉載,請註明出處:https://www.506064.com/zh-hk/n/276273.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
投稿專員的頭像投稿專員
上一篇 2024-12-19 13:20
下一篇 2024-12-19 13:20

相關推薦

發表回復

登錄後才能評論