Python实现网页关键词密度分析

一、背景介绍

关键词密度是指在网页中某一个关键词出现的频率，是搜索引擎排名算法的一个重要因素之一。过高或过低的关键词密度均会影响网页的排名。因此，分析网页中的关键词密度变得至关重要。

Python作为一种高级语言，具有方便快捷、易学易用、能够大量处理数据等优点，越来越多的人将其应用在网络爬虫、数据分析等领域，对于关键词密度分析也有着很好的支持。

二、主要流程

网页关键词密度的分析包含以下几个基本步骤：

1. 网页爬取：使用Python的requests和BeautifulSoup模块对目标网页进行爬取，提取出html文本。

2. 文本处理：对爬取的html文本进行处理，去除无效标签（如script、style）和特殊字符（如空格、换行等），只提取文本内容。

3. 分词：使用Python的jieba分词对文本内容进行分词处理，得到词语列表。

4. 关键词统计：对分词后的词语进行统计，计算每个词语出现的频率。

5. 结果展示：将统计结果展示在网页中。

三、代码实现

import requests
from bs4 import BeautifulSoup
import jieba

# 网页爬取
def get_html(url):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"
    }
    try:
        r = requests.get(url, headers=headers)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

# 文本处理
def clean_text(raw_html):
    clean_html = BeautifulSoup(raw_html, "html.parser").text
    clean_text = clean_html.replace('\n', '').replace('\r', '').replace('\t', '').replace('\xa0', '')
    return clean_text

# 分词
def jieba_cut(text):
    cut_list = [i for i in jieba.cut(text) if len(i) > 1]
    return cut_list

# 关键词统计
def keyword_statistics(cut_list):
    keyword_dict = {}
    total_num = len(cut_list)
    for word in cut_list:
        if word not in keyword_dict:
            keyword_dict[word] = 1
        else:
            keyword_dict[word] += 1
    for i in keyword_dict:
        keyword_dict[i] = keyword_dict[i]/total_num
    sorted_list = sorted(keyword_dict.items(), key=lambda x: x[1], reverse=True)
    return sorted_list

# 结果展示
def show_result(sorted_list):
    for item in sorted_list:
        keyword, density = item
        print("{}: {:.2%}".format(keyword, density))

if __name__ == "__main__":
    url = input("请输入目标网页链接：")
    html = get_html(url)
    text = clean_text(html)
    cut_list = jieba_cut(text)
    sorted_list = keyword_statistics(cut_list)
    show_result(sorted_list)

四、结果分析

以上代码实现了网页关键词密度的分析，并将结果以关键词和出现频率的形式展示出来。可以根据结果来分析该网页的关键词密度情况，以便进行SEO相关的工作。