无痛安装===无痛人流?探讨中文分词

JSON 2016-08-22 17:44:56 4328

中文 分词 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道,在英文的行文中,单词之间是以空 格作为自然分界符的,而中文只是字、句和段能通过明显的分界符来简单划界,唯独词没有一个形式上的分界符,虽然英文也同样存在短语的划分问题,不过在词这 一层上,中文比之英文要复杂的多、困难的多。

由此来看中文分词是比较难的,难就难在语义、组合、拆分上。

比如讨论的标题,

无痛安装:通俗讲就是解压缩的方式安装即可,而不是xxx.exe的方式(下一步以下一步)安装。

无痛人流:呵呵、就不用我说了。

但是用户意向的结果却是相差千里。我曾经吐槽 百度  、在他们的官方贴吧, 微薄  等地方吐槽,广告太严重了,我记得我2014年初的时候,搜索过一次 无痛安装  ,结果前2页都是“无痛人流”,我愤怒了。现在稍微好点,因为竞争对手 360  搜索出来了, 360  搜索虽然没有百度占的份额高,但是把腾讯的soso搜索、搜狗搜索等等都秒杀了。

相比之下 360  搜索稍微好点。

Google  那不用说,绝对OK。下面上图,你们也可以试试。

google 搜索 无痛安装


百度搜索 无痛安装 


搜狗搜索 无痛安装 

百度  是在 360  出来后才改进的还是在我愤怒后改进的,哈哈(^_^),以前是整整2页都是无痛人流。

所以对我们程序员来讲, google  你快回来吧。

下面我们讨论下为什么出现这样的问题?

其实在没有任何处理的情况下,分词后出现这样的问题也正常,但是就分词技术来讲,无痛安装分词后应该是[ 无痛安装 无痛安装],也就是权重最高的是 无痛安装  ,而不是无痛。

而无痛人流分词后应该是[无痛人流无痛人流]。

那么我们可以看出来 无痛人流 和 无痛安装  对应上是靠 无痛 对应上的。

所以从排序角度来说,在用户搜索 “无痛安装” 的时候,应该无痛安装是排第一。而 无痛 或者 安装是排其次。而我们得到的结果是不是我们想要的。

可能有的同学要喷我,说这是广告、竞价,我现在就要说这一点,广告讲究什么?讲究的是精准、假如我搜索一个无痛美容、无痛洗牙、那出来无痛人流是OK的,也就是都是医学挂钩的、你这…………

针对 中文分词  ,回头我就现在市面上的 中文分词  器做下对比再发布一篇博客。

版权所属:SO JSON在线解析

原文地址:https://www.sojson.com/blog/75.html

转载时必须以链接形式注明原始出处及本声明。


如果本文对你有帮助,那么请你赞助我,让我更有激情的写下去,帮助更多的人。

关于作者
一个低调而闷骚的男人。
相关文章
Elasticsearch教程(二),IK分词安装
Elasticsearch教程(三),IK分词安装 (极速版)
Elasticsearch 分词,Elasticsearch Java API 分词 操作
Elasticsearch教程,Elasticsearch 设置近义搜索,IK分词器实现同义搜索
Elasticsearch教程,Elasticsearch Java API创建Mapping,指定分词
window 环境下 apache james 3.0-beta4 安装、搭建、运行
Elasticsearch教程(四) elasticsearch head 插件安装和使用
Elasticsearch权威指南-中文.pdf,Elasticsearch 中文文档下载
Nodejs环境安装,Nodejs环境安装一篇就够了
Mac Fidder 抓包替代方案 Charles-proxy 抓包工具下载 + 安装 + 破解 charles.jar 下载
最新文章
PHP变量剖析 11
SQL全外连接剖析 119
SQL自然连接剖析 147
springboot启动原理 245
SQL右连接【RIGHT JOIN】详解及图解 450
SQL左链接【LEFT JOIN】详解及图解 357
SQL非等值连接剖析 262
SQL等链接剖析 291
SQL内连接详解及图解 385
python之numpy常用的100种数值相关方法及代码示例 231
最热文章
最新MyEclipse8.5注册码,有效期到2020年 (已经更新) 679241
苹果电脑Mac怎么恢复出厂系统?苹果系统怎么重装系统? 674561
免费天气API,全国天气 JSON API接口,可以获取五天的天气预报 599031
免费天气API,天气JSON API,不限次数获取十五天的天气预报 565278
Jackson 时间格式化,时间注解 @JsonFormat 用法、时差问题说明 551715
我为什么要选择RabbitMQ ,RabbitMQ简介,各种MQ选型对比 509186
Elasticsearch教程(四) elasticsearch head 插件安装和使用 479645
Jackson 美化输出JSON,优雅的输出JSON数据,格式化输出JSON数据... ... 262820
Java 信任所有SSL证书,HTTPS请求抛错,忽略证书请求完美解决 244092
Elasticsearch教程(一),全程直播(小白级别) 225127
支付扫码

所有赞助/开支都讲公开明细,用于网站维护:赞助名单查看

查看我的收藏

正在加载... ...