Python爬取公交数据

本文将从以下几个方面详细阐述python爬取公交数据的方法：

一、准备工作

1、安装相关库

import requests
from bs4 import BeautifulSoup
import csv

2、获取数据源网站url

url = 'http://bus.suzhou.gov.cn/zk/zwgjcx/zxcx_kc_list.aspx'

二、获取数据

1、分析网页代码，获取需要爬取数据的标签

<tr class="odd">
    <td>1</td>
    <td>13路</td>
    <td>相城区公交总公司</td>
    <td>旺山区域</td>
    <td>综合商场8:00</td>
    <td>综合商场19:00</td>
    <td>25.5</td>
    <td>2018-08-15</td>
</tr>

2、编写函数，将需要的数据提取出来

def get_data(item):
    data = []
    rows = item.findAll('td')
    data.append(rows[1].text.strip())
    data.append(rows[2].text.strip())
    data.append(rows[3].text.strip())
    data.append(rows[4].text.strip())
    data.append(rows[5].text.strip())
    data.append(rows[6].text.strip())
    data.append(rows[7].text.strip())
    return data

3、利用requests库发送GET请求，获取网页内容；再用BeautifulSoup库解析网页内容，获取table中的所有tr标签，遍历每个tr标签，调用get_data函数获取数据，并将获取到的数据保存至csv文件

response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

table = soup.find('table', {'class': 'table_list kcjl_table'})
rows = table.findAll('tr')

with open('data.csv', mode='w', encoding='utf-8', newline='') as file_csv:
    writer = csv.writer(file_csv)
    writer.writerow(['线路', '所属公司', '区域', '发车时间', '末班车时间', '票价', '更新时间'])
    for item in rows:
        if item.find('td') is None:
            continue
        writer.writerow(get_data(item))

三、结果展示

分析当前目录下是否生成了data.csv文件，打开该文件查看是否成功导出数据

四、注意事项

1、在requests库中，可能需要设置headers参数，以模拟正常浏览器访问行为；

2、在使用BeautifulSoup库解析网页内容时，需要注意标签名称、属性类型等信息；

3、在保存数据至csv文件时，需要注意文件编码、文件类型等信息