本文目录一览：
怎么是用python 语言 使用结巴分词 呢
Python代码
#encoding=utf-8
import jieba
seg_list = jieba.cut(“我来到北京清华大学”,cut_all=True)
print “Full Mode:”, “/ “.join(seg_list) #全模式
seg_list = jieba.cut(“我来到北京清华大学”,cut_all=False)
print “Default Mode:”, “/ “.join(seg_list) #默认模式
seg_list = jieba.cut(“他来到了网易杭研大厦”)
print “, “.join(seg_list)
输出：
Full Mode: 我/ 来/ 来到/ 到/ 北/ 北京/ 京/ 清/ 清华/ 清华大学/ 华/ 华大/ 大/ 大学/ 学
Default Mode: 我/ 来到/ 北京/ 清华大学
他, 来到, 了, 网易, 杭研, 大厦 (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)
jieba库怎么安装
python安装jieba库模块。
电脑：戴尔灵越5000
系统：win10
软件：Python3.7.4
1、打开平python编译器，输入import jieba，回车后发现没有此功能库。
2、在电脑开始菜单栏上右键鼠标选择【运行】。
3、输入cmd，点击【确定】进入控制台窗口。
4、在控制台输入pip3 install jieba，回车进入下载阶段。
5、等待下载完成并安装，出现successfully即为成功。
6、返回编译器，输入import jieba，回车没有出现错误，导入模块成功。
jieba分词（R vs. python）
自然语言处理（NLP）是机器学习重要分支之一，主要应用于篇章理解、文本摘要、情感分析、知识图谱、文本翻译等领域。而NLP应用首先是对文本进行分词，当前中文分词器有Ansj、paoding、盘古分词等多种，而最基础的分词器应该属于jieba分词器（比较见下图）。
下面将分别应用R和python对jieba分词器在中文分词、词性标注和关键词提取领域的应用进行比较。
R实现
通过函数worker()来初始化分词引擎，使用segment()进行分词。有四种分词模式:最大概率法（MP）、隐马尔科夫模型（HMM）、混合模型（Mix）及索引模型（query）,默认为混合模型。具体可查看help(worker).
#install.packages(‘jiebaR’)library(jiebaR)mixseg – worker()segment( “这是一段测试文本” , mixseg ) #或者用以下操作mixseg[‘这是一段测试文本’]mixseg = “这是一段测试文本”
python实现
python中需安装jieba库，运用jieba.cut实现分词。cut_all参数为分词类型，默认为精确模式。
import jiebaseg_list = jieba.cut(u”这是一段测试文本”,cut_all = False)print(“Full mode: “+ “,”.join(seg_list)) #默认精确模式
无论是R还是python都为utf—8编码。
R实现
可以使用=.tagger 或者tag 来进行分词和词性标注，词性标注使用混合模型模型分词，标注采用和 ictclas 兼容的标记法。
words = “我爱北京天安门”tagger = worker(“tag”) #开启词性标注启发器tagger = words # r v ns ns # “我” “爱” “北京” “天安门”
python实现
#词性标注import jieba.posseg as psegwords = pseg.cut(“我爱北京天安门”)for word,flag in words: print(‘%s, %s’ %(word,flag))
R实现
R关键词提取使用逆向文件频率（IDF）文本语料库,通过worker参数“keywords”开启关键词提取启发器，topn参数为关键词的个数。
keys = worker(“keywords”,topn = 5, idf = IDFPATH)keys = “会议邀请到美国密歇根大学(University of Michigan, Ann Arbor）环境健康科学系副教授奚传武博士作题为“Multibarrier approach for safe drinking waterin the US : Why it failed in Flint”的学术讲座，介绍美国密歇根Flint市饮用水污染事故的发生发展和处置等方面内容。讲座后各相关单位同志与奚传武教授就生活饮用水在线监测系统、美国水污染事件的处置方式、生活饮用水老旧管网改造、如何有效减少消毒副产物以及美国涉水产品和二次供水单位的监管模式等问题进行了探讨和交流。本次交流会是我市生活饮用水卫生管理工作洽商机制运行以来的又一次新尝试，也为我市卫生计生综合监督部门探索生活饮用水卫生安全管理模式及突发水污染事件的应对措施开拓了眼界和思路。”#结果：# 48.8677 23.4784 22.1402 20.326 18.5354 # “饮用水” “Flint” “卫生” “水污染” “生活”
python实现
python实现关键词提取可运用TF-IDF方法和TextRank方法。allowPOS参数为限定范围词性类型。
#关键词提取import jieba.analysecontent = u’会议邀请到美国密歇根大学(University of Michigan, Ann Arbor）环境健康科学系副教授奚传武博士作题为“Multibarrier approach for safe drinking waterin the US : Why it failed in Flint”的学术讲座，介绍美国密歇根Flint市饮用水污染事故的发生发展和处置等方面内容。讲座后各相关单位同志与奚传武教授就生活饮用水在线监测系统、美国水污染事件的处置方式、生活饮用水老旧管网改造、如何有效减少消毒副产物以及美国涉水产品和二次供水单位的监管模式等问题进行了探讨和交流。本次交流会是我市生活饮用水卫生管理工作洽商机制运行以来的又一次新尝试，也为我市卫生计生综合监督部门探索生活饮用水卫生安全管理模式及突发水污染事件的应对措施开拓了眼界和思路。’#基于TF-IDFkeywords = jieba.analyse.extract_tags(content,topK = 5,withWeight = True,allowPOS = (‘n’,’nr’,’ns’))for item in keywords: print item[0],item[1] #基于TF-IDF结果# 饮用水 0.448327672795# Flint 0.219353532163# 卫生 0.203120821773# 水污染 0.186477211628# 生活 0.170049997544
#基于TextRankkeywords = jieba.analyse.textrank(content,topK = 5,withWeight = True,allowPOS = (‘n’,’nr’,’ns’))for item in keywords: print item[0],item[1] #基于TextRank结果：# 饮用水 1.0# 美国 0.570564785973# 奚传武 0.510738424509# 单位 0.472841889334# 讲座 0.443770732053
写在文后
自然语言处理（NLP）在数据分析领域有其特殊的应用，在R中除了jiebaR包，中文分词Rwordseg包也非常常用。一般的文本挖掘步骤包括：文本获取（主要用网络爬取）——文本处理（分词、词性标注、删除停用词等）——文本分析（主题模型、情感分析）——分析可视化（词云、知识图谱等）。本文是自然语言处理的第一篇，后续将分别总结下应用深度学习Word2vec进行词嵌入以及主题模型、情感分析的常用NLP方法。
参考资料
Introduction · jiebaR 中文分词
知乎：【文本分析】利用jiebaR进行中文分词
雪晴数据网：全栈数据工程师养成攻略
搜狗实验室，词性标注应用
【R文本挖掘】中文分词Rwordseg
python jieba什么用
Python 中文分词组件
支持三种分词模式：
精确模式，试图将句子最精确地切开，适合文本分析；
全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
支持繁体分词
支持自定义词典
MIT 授权协议
项目地址
原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/238295.html
微信扫一扫 
支付宝扫一扫 