standard analyzer和standard tokenizer有什么区别?

analyzer是分析器,由三部分组成:字符过滤器 character filter、令牌过滤器 token filter、分词器tokenizer,所以tokenizer是analyzer的一部分
字符过滤器:用于过滤HTML标签、自定义映射、正则替换
令牌过滤器:用于过滤停用词、时态转换、大小写转换、同义词转换、语气词处理等
分词器:按照一定的规则来对字符串分词
standard tokenizer是以空格为分隔符的分词器,而standard analyzer包含了standard tokenizer,并且额外包含了一个大写转小写的字符过滤器

圈主 管理员

热门评论
:
该帖子评论已关闭
图片审查中...
编辑答案: 我的回答: 最多上传一张图片和一个附件
x
x
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

Warning: Invalid argument supplied for foreach() in /www/wwwroot/www.tarascam.com/wp-content/plugins/b2-mission/index.php on line 37