本文目錄一覽：
如何用Python寫一個抓取天天基金網上每個基金經
用python寫抓取天天基金的方法有很多呀~
但是，不清楚你具體要抓取什麼內容。
寫了一個最簡單的例子：3行代碼就可以抓一個包含所有開放基金數據的表格
代碼如下：
import pandas
data = pandas.read_html(‘;isall_1;ft_|;pt_1’)
data[2].to_csv(‘天天基金.csv’)
運行結果：
寫入本地文件的樣子：
這應該是最簡單神奇的代碼了吧。前提是要安裝好pandas哦，靈感來自yqxmf.top
如何利用python抓取美股數據
一 準備環境
1 安裝tushare模塊包。
pip install tushare
二 註冊tushare賬號，獲取token（目前tushare pro版本必須有token值才能正常訪問）
訪問 tushare官網進行註冊，然後記錄token值備用。
三 開始python編程
Python代碼：
import tushare as ts
#設置token
token=’你自己的token’
pro = ts.pro_api(token)
#獲取002242.SZ日行數據
pa=pro.daily(ts_code=’002242.SZ’, start_date=’20200701′,end_date=’20200716′)
# 打印獲取數據
print(pa)
運行程序，可見如下打印，002242.SZ最近兩周的數據都在這裡了。
如何用python 爬蟲抓取金融數據
獲取數據是數據分析中必不可少的一部分，而網絡爬蟲是是獲取數據的一個重要渠道之一。鑒於此，我拾起了Python這把利器，開啟了網絡爬蟲之路。
本篇使用的版本為python3.5，意在抓取證券之星上當天所有A股數據。程序主要分為三個部分：網頁源碼的獲取、所需內容的提取、所得結果的整理。
一、網頁源碼的獲取
很多人喜歡用python爬蟲的原因之一就是它容易上手。只需以下幾行代碼既可抓取大部分網頁的源碼。
import urllib.request
url=’ar.com/stock/ranklist_a_3_1_1.html’ #目標網址headers={“User-Agent”:”Mozilla/5.0 (Windows NT 10.0; WOW64)”} #偽裝瀏覽器請求報頭request=urllib.request.Request(url=url,headers=headers) #請求服務器response=urllib.request.urlopen(request) #服務器應答content=response.read().decode(‘gbk’) #以一定的編碼方式查看源碼print(content) #打印頁面源碼
雖說抓一頁的源碼容易，不過在一個網站內大量抓取網頁源碼卻經常遭到服務器攔截，頓時感覺世界充滿了惡意。於是我開始研習突破反爬蟲限制的功法。
1.偽裝流浪器報頭
很多服務器通過瀏覽器發給它的報頭來確認是否是人類用戶，所以我們可以通過模仿瀏覽器的行為構造請求報頭給服務器發送請求。服務器會識別其中的一些參數來識別你是否是人類用戶，很多網站都會識別User-Agent這個參數，所以請求頭最好帶上。有一些警覺性比較高的網站可能還會通過其他參數識別，比如通過Accept-Language來辨別你是否是人類用戶，一些有防盜鏈功能的網站還得帶上referer這個參數等等。
2.隨機生成UA
證券之星只需帶User-Agent這個參數就可以抓取頁面信息了，不過連續抓取幾頁就被服務器阻止了。於是我決定每次抓取數據時模擬不同的瀏覽器發送請求，而服務器通過User-Agent來識別不同瀏覽器，所以每次爬取頁面可以通過隨機生成不同的UA構造報頭去請求服務器，
3.減慢爬取速度
雖然模擬了不同瀏覽器爬取數據，但發現有的時間段可以爬取上百頁的數據，有時候卻只能爬取十來頁，看來服務器還會根據你的訪問的頻率來識別你是人類用戶還是網絡爬蟲。所以我每抓取一頁都讓它隨機休息幾秒，加入此句代碼後，每個時間段都能爬取大量股票數據了。
4.使用代理IP
天有不測風雲，程序在公司時順利測試成功，回寢室後發現又只能抓取幾頁就被服務器阻止了。驚慌失措的我趕緊詢問度娘，獲知服務器可以識別你的IP，並記錄此IP訪問的次數，可以使用高匿的代理IP，並在抓取的過程中不斷的更換，讓服務器無法找出誰是真兇。此功還未修成，欲知後事如何，請聽下回分解。
5.其他突破反爬蟲限制的方法
很多服務器在接受瀏覽器請求時會發送一個cookie文件給瀏覽器，然後通過cookie來跟蹤你的訪問過程，為了不讓服務器識別出你是爬蟲，建議最好帶上cookie一起去爬取數據；如果遇上要模擬登陸的網站，為了不讓自己的賬號被拉黑，可以申請大量的賬號，然後再爬入，此處涉及模擬登陸、驗證碼識別等知識，暫時不再深究…總之，對於網站主人來說，有些爬蟲確實是令人討厭的，所以會想出很多方法限制爬蟲的進入，所以我們在強行進入之後也得注意些禮儀，別把人家的網站給拖垮了。
二、所需內容的提取
獲取網頁源碼後，我們就可以從中提取我們所需要的數據了。從源碼中獲取所需信息的方法有很多，使用正則表達式就是比較經典的方法之一。我們先來看所採集網頁源碼的部分內容。
為了減少干擾，我先用正則表達式從整個頁面源碼中匹配出以上的主體部分，然後從主體部分中匹配出每隻股票的信息。代碼如下。
pattern=re.compile(‘tbody[\s\S]*/tbody’)
body=re.findall(pattern,str(content)) #匹配tbody和/tbody之間的所有代碼pattern=re.compile(‘(.*?)’)
stock_page=re.findall(pattern,body[0]) #匹配和之間的所有信息
其中compile方法為編譯匹配模式，findall方法用此匹配模式去匹配出所需信息，並以列表的方式返回。正則表達式的語法還挺多的，下面我只羅列所用到符號的含義。
語法 說明
. 匹配任意除換行符「\n」外的字符
* 匹配前一個字符0次或無限次
？ 匹配前一個字符0次或一次
\s 空白字符：[空格\t\r\n\f\v]
\S 非空白字符：[^\s]
[…] 字符集，對應的位置可以是字符集中任意字符
(…) 被括起來的表達式將作為分組，裏面一般為我們所需提取的內容
正則表達式的語法挺多的，也許有大牛隻要一句正則表達式就可提取我想提取的內容。在提取股票主體部分代碼時發現有人用xpath表達式提取顯得更簡潔一些，看來頁面解析也有很長的一段路要走。
三、所得結果的整理
通過非貪婪模式(.*?)匹配和之間的所有數據，會匹配出一些空白字符出來，所以我們採用如下代碼把空白字符移除。
stock_last=stock_total[:] #stock_total：匹配出的股票數據for data in stock_total: #stock_last：整理後的股票數據
if data==”:
stock_last.remove(”)
最後，我們可以打印幾列數據看下效果，代碼如下
print(‘代碼’,’\t’,’簡稱’,’ ‘,’\t’,’最新價’,’\t’,’漲跌幅’,’\t’,’漲跌額’,’\t’,’5分鐘漲幅’)for i in range(0,len(stock_last),13): #網頁總共有13列數據
print(stock_last[i],’\t’,stock_last[i+1],’ ‘,’\t’,stock_last[i+2],’ ‘,’\t’,stock_last[i+3],’ ‘,’\t’,stock_last[i+4],’ ‘,’\t’,stock_last[i+5])
求助如何用R或者Python抓取同花順網
非要用同花順的話，比較可行的辦法是：做外掛程序，模擬鍵盤鼠標輸入或者操控窗體控件
另外就是模擬登陸你券商的web交易版本，這個有一個開源的項目GitHub – shidenggui/easytrader: 提供券商華泰/傭金寶/銀河/廣發/雪球的基金、股票自動程序化交易，量化交易組件
目前支持華泰/傭金寶/銀河/廣發/雪球
原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-hk/n/251889.html
微信掃一掃 
支付寶掃一掃 