nltk.sent_tokenize() nltk.word_tokenize()利用分句子，分词，

论坛 › 期权论坛 › 编程之家

 选择匿名的用户  2021-5-16 23:41  11  0

分词

nltk.sent_tokenize(text) #按句子分割
nltk.word_tokenize(sentence) #分词
nltk的分词是句子级别的，所以对于一篇文档首先要将文章按句子进行分割，然后句子进行分词：
这里写图片描述

http://www.pythontip.com/blog/post/10012/

回复

分享到 :

0 人收藏

16级独孤

选择匿名的用户

积分:3875789

帖子:775174

精华:0

+ 关注私信

期权论坛

期权论坛

期权网络科技版权所有: 关于我们; 联系我们; 加入我们; 反馈问题; 免责声明; 积分充值

统一社会信用代码: 积分规则; 网站地图; 爱文库; 下属网站

官方: 新浪微博; 微信公众号
◆

下载: 表情包; App下载

期权论坛

期权论坛

QQ咨询|关于我们|Archiver|手机版|小黑屋|( 辽ICP备15012455号-4 ) Powered by 期权论坛 X3.2 © 2001-2016 期权工具网&期权论坛 Inc.