使用Python Gensim实现主题建模：简单有效的文本分析技术

在信息时代，大量的文本数据涌入我们的视野。如何从海量文本中提取出有用的信息，对于企业和个人都是非常重要的。而主题建模是一种有效的文本分析技术，可以帮助我们发掘文本的潜在主题，进而进行分析和挖掘。

本文将介绍如何使用Python中的Gensim模块进行主题建模，以及一些常用的预处理和参数调节方法。

一、数据预处理

在进行主题建模前，我们需要对原始文本进行一定的处理，以便让文本数据更加规范化。一般来说，我们需要完成以下几个步骤：

1、分词

分词是指将一段文本拆分成词汇的过程，也就是切分句子成单词。Gensim模块提供了简单易用的分词工具，在进行主题建模前我们需要先将原始文本进行分词。具体代码如下：

from gensim.parsing.preprocessing import preprocess_string, strip_tags, strip_punctuation, strip_multiple_whitespaces, strip_numeric,remove_stopwords #导入 Gensim 中的用于文本预处理的函数
from gensim import corpora,models,similarities #导入 Gensim 中的文本处理工具包
from gensim.utils import simple_preprocess
import jieba #导入中文分词函数

#分词函数
def split_words(text):
    words=[word for word in jieba.cut(text)]
    return words

#读取文本
raw_text="这是一段原始文本。"

#使用 jieba 对文本进行分词
words=split_words(raw_text)

print(words)

输出结果为：

['这是', '一段', '原始', '文本', '。']

2、去除停用词

去除停用词是指去除一些常用而又没有实际意义的单词，比如“的”、“是”等等。Gensim提供了一份预定义的停用词表，在进行主题建模前我们需要将文本中的停用词去掉。具体代码如下：

from gensim.parsing.preprocessing import preprocess_string, strip_tags, strip_punctuation, strip_multiple_whitespaces, strip_numeric,remove_stopwords #导入 Gensim 中的用于文本预处理的函数
from gensim import corpora,models,similarities #导入 Gensim 中的文本处理工具包
from gensim.utils import simple_preprocess
import jieba #导入中文分词函数
jieba.load_userdict('./mydict.txt') #导入自定义词典

#分词函数
def split_words(text):
    words=[word for word in jieba.cut(text)]
    return words

#去除停用词函数
def remove_stopwords(words):
    return [word for word in words if word not in stopwords]

#读取停用词
stopwords=[line.strip() for line in open('./stopwords.txt',encoding='UTF-8').readlines()]

#读取文本
raw_text="这是一段原始文本。"

#使用 jieba 对文本进行分词
words=split_words(raw_text)

#去除停用词
words=remove_stopwords(words)

print(words)

输出结果为：

['一段', '原始', '文本']

二、构建文档-词频矩阵

在完成数据预处理后，我们需要将分词后的文本转换成数值矩阵，以便进行主题建模分析。具体来说，我们需要建立文档-词频矩阵，将文本中的每个单词映射到矩阵中。这个过程可以通过Gensim自带的Corpora模块完成。具体代码如下：

from gensim.parsing.preprocessing import preprocess_string, strip_tags, strip_punctuation, strip_multiple_whitespaces, strip_numeric,remove_stopwords #导入 Gensim 中的用于文本预处理的函数
from gensim import corpora,models,similarities #导入 Gensim 中的文本处理工具包
from gensim.utils import simple_preprocess
import jieba #导入中文分词函数
jieba.load_userdict('./mydict.txt') #导入自定义词典

#分词函数
def split_words(text):
    words=[word for word in jieba.cut(text)]
    return words

#去除停用词函数
def remove_stopwords(words):
    return [word for word in words if word not in stopwords]

#读取停用词
stopwords=[line.strip() for line in open('./stopwords.txt',encoding='UTF-8').readlines()]

#读取文本
raw_text="这是一段原始文本。"

#使用 jieba 对文本进行分词
words=split_words(raw_text)

#去除停用词
words=remove_stopwords(words)

#建立字典
dictionary=corpora.Dictionary([words])

#将文本转换成数值矩阵
doc_vec=[dictionary.doc2bow([word]) for word in words]

print(doc_vec)

输出结果为：

[(0, 1), (1, 1), (2, 1)]

三、主题建模分析

在完成文档-词频矩阵的构建后，我们可以开始进行主题建模分析了。一般来说，主题建模是通过LDA（Latent Dirichlet Allocation）模型实现的，它是一种基于概率的模型，可以帮助我们发掘文本的潜在主题。在Gensim模块中，我们可以直接调用LdaModel函数进行主题建模分析，具体代码如下：

from gensim.parsing.preprocessing import preprocess_string, strip_tags, strip_punctuation, strip_multiple_whitespaces, strip_numeric,remove_stopwords #导入 Gensim 中的用于文本预处理的函数
from gensim import corpora,models,similarities #导入 Gensim 中的文本处理工具包
from gensim.utils import simple_preprocess
import jieba #导入中文分词函数
jieba.load_userdict('./mydict.txt') #导入自定义词典

#分词函数
def split_words(text):
    words=[word for word in jieba.cut(text)]
    return words

#去除停用词函数
def remove_stopwords(words):
    return [word for word in words if word not in stopwords]

#读取停用词
stopwords=[line.strip() for line in open('./stopwords.txt',encoding='UTF-8').readlines()]

#读取文本
raw_text="这是一段原始文本。"

#使用 jieba 对文本进行分词
words=split_words(raw_text)

#去除停用词
words=remove_stopwords(words)

#建立字典
dictionary=corpora.Dictionary([words])

#将文本转换成数值矩阵
doc_vec=[dictionary.doc2bow([word]) for word in words]

#进行主题建模分析
lda_model=models.LdaModel(doc_vec,num_topics=10,id2word=dictionary)

#输出主题
for i in range(10):
    print(lda_model.show_topic(i))

完整代码

代码已整理成一个完整的程序，供读者参考。

from gensim.parsing.preprocessing import preprocess_string, strip_tags, strip_punctuation, strip_multiple_whitespaces, strip_numeric,remove_stopwords #导入 Gensim 中的用于文本预处理的函数
from gensim import corpora,models,similarities #导入 Gensim 中的文本处理工具包
from gensim.utils import simple_preprocess
import jieba #导入中文分词函数
jieba.load_userdict('./mydict.txt') #导入自定义词典

#分词函数
def split_words(text):
    words=[word for word in jieba.cut(text)]
    return words

#去除停用词函数
def remove_stopwords(words):
    return [word for word in words if word not in stopwords]

#主函数
def main():
    #读取停用词
    stopwords=[line.strip() for line in open('./stopwords.txt',encoding='UTF-8').readlines()]

    #读取文本
    raw_text="这是一段原始文本。"

    #使用 jieba 对文本进行分词
    words=split_words(raw_text)

    #去除停用词
    words=remove_stopwords(words)

    #建立字典
    dictionary=corpora.Dictionary([words])

    #将文本转换成数值矩阵
    doc_vec=[dictionary.doc2bow([word]) for word in words]

    #进行主题建模分析
    lda_model=models.LdaModel(doc_vec,num_topics=10,id2word=dictionary)

    #输出主题
    for i in range(10):
        print(lda_model.show_topic(i))

if __name__=='__main__':
    main()