本文将从以下几个方面详细阐述python爬取公交数据的方法：
一、准备工作
1、安装相关库
import requests
from bs4 import BeautifulSoup
import csv2、获取数据源网站url
url = 'http://bus.suzhou.gov.cn/zk/zwgjcx/zxcx_kc_list.aspx'二、获取数据
1、分析网页代码，获取需要爬取数据的标签
<tr class="odd">
<td>1</td>
<td>13路</td>
<td>相城区公交总公司</td>
<td>旺山区域</td>
<td>综合商场8:00</td>
<td>综合商场19:00</td>
<td>25.5</td>
<td>2018-08-15</td>
</tr>2、编写函数，将需要的数据提取出来
def get_data(item):
data = []
rows = item.findAll('td')
data.append(rows[1].text.strip())
data.append(rows[2].text.strip())
data.append(rows[3].text.strip())
data.append(rows[4].text.strip())
data.append(rows[5].text.strip())
data.append(rows[6].text.strip())
data.append(rows[7].text.strip())
return data3、利用requests库发送GET请求，获取网页内容；再用BeautifulSoup库解析网页内容，获取table中的所有tr标签，遍历每个tr标签，调用get_data函数获取数据，并将获取到的数据保存至csv文件
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
table = soup.find('table', {'class': 'table_list kcjl_table'})
rows = table.findAll('tr')
with open('data.csv', mode='w', encoding='utf-8', newline='') as file_csv:
writer = csv.writer(file_csv)
writer.writerow(['线路', '所属公司', '区域', '发车时间', '末班车时间', '票价', '更新时间'])
for item in rows:
if item.find('td') is None:
continue
writer.writerow(get_data(item))三、结果展示
分析当前目录下是否生成了data.csv文件，打开该文件查看是否成功导出数据
四、注意事项
1、在requests库中，可能需要设置headers参数，以模拟正常浏览器访问行为；
2、在使用BeautifulSoup库解析网页内容时，需要注意标签名称、属性类型等信息；
3、在保存数据至csv文件时，需要注意文件编码、文件类型等信息
原创文章，作者：LSRZG，如若转载，请注明出处：https://www.506064.com/n/375427.html
微信扫一扫 
支付宝扫一扫 