Python解析HTML

一、Python解析HTML文档

Python可以使用自带的HTMLParser模块或第三方库，如BeautifulSoup、lxml等解析HTML文档。使用HTMLParser模块解析HTML文档需要自己编写一个HTML解析器，对HTML标签进行逐个解析，并在解析的过程中处理文本数据和标签属性。以下是一个使用HTMLParser的示例代码：


from html.parser import HTMLParser

class MyHTMLParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        print("Start tag:", tag)
        for attr in attrs:
            print("  Attr:", attr)

    def handle_endtag(self, tag):
        print("End tag  :", tag)

    def handle_data(self, data):
        print("Data     :", data)

parser = MyHTMLParser()
parser.feed('<html><head></head><body><p>Hello, world!</p></body></html>')

运行上面的代码可以输出HTML文档中的标签和文本数据。

二、Python解析HTML网页表格

一些HTML页面可能会包含表格，可以使用以下示例代码来解析这种页面：


import requests
from bs4 import BeautifulSoup

URL = "https://www.w3schools.com/html/html_tables.asp"
response = requests.get(URL)
soup = BeautifulSoup(response.text, "lxml")

table = soup.find('table')
rows = table.find_all('tr')

for row in rows:
    cols = row.find_all('td')
    cols = [col.text.strip() for col in cols]
    print(cols)

运行上面的代码可以将网页表格中的每一行数据输出。

三、Python解析HTML标签

使用Python解析HTML标签就需要了解HTML标签的基本格式和含义。以下是一些常用的HTML标签：

<html>：定义一个HTML文档
<head>：定义文档的头部，包含文档的元数据信息
<body>：定义文档的主体部分
<div>：定义文档中的一个区域
<h1>～<h6>：定义标题，h1是最高级别的标题
<p>：定义段落
<ul>和<li>：定义无序列表及其项
<ol>和<li>：定义有序列表及其项
<a>：定义超链接
<img>：定义图片
<table>、<tr>和<td>：定义表格及其行、列
<form>：定义用户输入表单

四、Python解析HTML文件

Python可以使用内置的open函数打开HTML文件，并将其读取为单个字符串，然后使用相应的HTML解析器处理该字符串。


from html.parser import HTMLParser

with open('test.html') as f:
    html = f.read()

class MyHTMLParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        print("Start tag:", tag)
        for attr in attrs:
            print("  Attr:", attr)

    def handle_endtag(self, tag):
        print("End tag  :", tag)

    def handle_data(self, data):
        print("Data     :", data)

parser = MyHTMLParser()
parser.feed(html)

运行上面的代码可以解析HTML文件中的标签和文本数据。

五、Python解析HTML模块

Python有多个常用于解析HTML的模块，其中比较受欢迎的是BeautifulSoup和lxml。以下是使用BeautifulSoup获取HTML页面中所有的链接的示例代码：


import requests
from bs4 import BeautifulSoup

URL = "https://github.com/"
response = requests.get(URL)
soup = BeautifulSoup(response.text, "html.parser")

links = []
for link in soup.find_all('a'):
    links.append(link.get('href'))

print(links)

运行上面的代码可以获取指定URL页面中所有的链接。

六、Python解析HTML和XML的第三方库

Python有多个第三方库可以用于解析HTML或XML，如lxml、xml.etree.ElementTree等。以下是使用lxml解析HTML的示例代码：


from lxml import html

URL = 'https://www.baidu.com'
page = requests.get(URL)
tree = html.fromstring(page.content)

print(tree.xpath('//title/text()'))

运行上面的代码可以获取指定URL页面的标题。

七、Python解析HTML两问

问题一：如何编写一个HTML解析器？

答：需要使用Python自带的HTMLParser模块，并继承该模块的HTMLParser类，并实现相应的回调函数，如handle_starttag、handle_endtag、handle_data等。

问题二：如何使用BeautifulSoup解析含有多个class的HTML标签？

答：可以使用find_all方法，并将class_参数设置为一个列表，如soup.find_all(‘div’, class_=[‘class1’, ‘class2’])。

八、Python解析HTML标签生成字典

可以使用Python的字典类型来存储HTML标签的属性和值。以下是一个示例代码：


from html.parser import HTMLParser

class MyHTMLParser(HTMLParser):
    def __init__(self):
        self.result = []
        HTMLParser.__init__(self)

    def handle_starttag(self, tag, attrs):
        if attrs:
            attr_dict = {}
            for attr in attrs:
                attr_dict[attr[0]] = attr[1]
            self.result.append({'tag': tag, 'attrs': attr_dict})
        else:
            self.result.append({'tag': tag, 'attrs': {}})

parser = MyHTMLParser()
parser.feed('<html lang="en"><head><meta charset="UTF-8"></head><body><p>Hello, world!</p></body></html>')
print(parser.result)

运行上面的代码可以输出HTML文档中的标签和属性以及其对应的值。

九、Python解析HTML页面

Python可以使用requests库或urllib库来获取指定URL的HTML页面，并使用相应的HTML解析器解析所获取的HTML文档。


import requests
from bs4 import BeautifulSoup

URL = 'https://www.baidu.com'
page = requests.get(URL)
soup = BeautifulSoup(page.content, 'html.parser')

print(soup.prettify())

运行上面的代码可以获取指定URL页面的HTML文档，使用prettify方法可以将文档格式化输出。

原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/190914.html