这四款Python分词工具，你用过吗？

[[397844]]

 1、 jieba 分词 github地址：

https://github.com/fxsjy/jieba

创新互联是一家专注于做网站、成都网站建设与策划设计,昌宁网站建设哪家好?创新互联做网站,专注于网站建设10余年,网设计领域的专业建站公司;建站业务涵盖:昌宁等地区。昌宁做网站价格咨询:18980820575

“结巴”分词，可以说是 GitHub 最受欢迎的分词工具，支持自定义词典，支持多种分词模式，立志成为 Python 中最好的中文分词组件。

2. pkuseg 分词 github地址：

https://github.com/lancopku/pkuseg-python

pkuseg 的特点是支持多种不同的分词领域，新闻、网络、医药、v旅游等领域的分词训练模型，相比于其他分词工具，不但可以自由的选择不同模型，而且可以提供更高的分词准确率。

3. FoolNLTK 分词 github地址：

https://github.com/rockyzhengwu/FoolNLTK

FoolNLTK 分词是基于BiLSTM模型训练而来的，支持用户自定义词典，有人说它是最准确的开源中文分词，不知道你有没有尝试过呢?

[[397845]]

4. THULAC github地址：

https://github.com/thunlp/THULAC-Python

THULAC由清华大学自然语言处理与社会人文计算实验室，研制推出的具有词性标注功能的中文词法分析工具包。能分析出某个词是名词还是动词或者形容词。利用我们集成的目前世界上规模最大的人工分词和词性标注中文语料库(约含5800万字)训练而成，模型标注能力强大。该工具包在标准数据集Chinese Treebank(CTB5)上分词的F1值可达97.3%，词性标注的F1值可达到92.9%，与该数据集上最好方法效果相当。速度较快。

跟同事聊起分词工具，他们很多人在用的还是结巴分词，配合用户自定义词典，解决常见的网络词语。你在用哪个工具呢?

网站标题：这四款Python分词工具，你用过吗？
当前链接：http://www.shufengxianlan.com/qtweb/news38/500038.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联