何为中文分词,指的是将一个汉字序列切分成一个个单独的词。
这里我们推荐使用jieba分词,它是专门使用python语言开发的分词系统,占用资源较少,常识类文档的分词精度较高。
方式一: 进入cmd命令窗口,输入: python setup.py install jieba
方式二: 进入cmd命令窗口,输入:pip install jieba
然后我们就可以进行下面的中文文本分词的操作了
首先我们把需要分词的文件train_corpus_small拷贝到项目中来:
然后我们创建一个demo3.py对其进行分词操作
# -*- encoding:utf-8 -*-
import sys
import jieba
import os
# 配置UTF-8的环境
reload
因篇幅问题不能全部显示,请点此查看更多更全内容
Copyright © 2019- oldu.cn 版权所有 浙ICP备2024123271号-1
违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务