无痛安装===无痛人流?探讨中文分词

soゝso 2016-08-22 17:44:56 1304
分享到:

中文 分词 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道,在英文的行文中,单词之间是以空 格作为自然分界符的,而中文只是字、句和段能通过明显的分界符来简单划界,唯独词没有一个形式上的分界符,虽然英文也同样存在短语的划分问题,不过在词这 一层上,中文比之英文要复杂的多、困难的多。

由此来看中文分词是比较难的,难就难在语义、组合、拆分上。

比如讨论的标题,

无痛安装:通俗讲就是解压缩的方式安装即可,而不是xxx.exe的方式(下一步以下一步)安装。

无痛人流:呵呵、就不用我说了。

但是用户意向的结果却是相差千里。我曾经吐槽 百度  、在他们的官方贴吧, 微薄  等地方吐槽,广告太严重了,我记得我2014年初的时候,搜索过一次 无痛安装  ,结果前2页都是“无痛人流”,我愤怒了。现在稍微好点,因为竞争对手 360  搜索出来了, 360  搜索虽然没有百度占的份额高,但是把腾讯的soso搜索、搜狗搜索等等都秒杀了。

相比之下 360  搜索稍微好点。

Google  那不用说,绝对OK。下面上图,你们也可以试试。

google 搜索 无痛安装


百度搜索 无痛安装 


搜狗搜索 无痛安装 

百度  是在 360  出来后才改进的还是在我愤怒后改进的,哈哈(^_^),以前是整整2页都是无痛人流。

所以对我们程序员来讲, google  你快回来吧。

下面我们讨论下为什么出现这样的问题?

其实在没有任何处理的情况下,分词后出现这样的问题也正常,但是就分词技术来讲,无痛安装分词后应该是[ 无痛安装 无痛安装],也就是权重最高的是 无痛安装  ,而不是无痛。

而无痛人流分词后应该是[无痛人流无痛人流]。

那么我们可以看出来 无痛人流 和 无痛安装  对应上是靠 无痛 对应上的。

所以从排序角度来说,在用户搜索 “无痛安装” 的时候,应该无痛安装是排第一。而 无痛 或者 安装是排其次。而我们得到的结果是不是我们想要的。

可能有的同学要喷我,说这是广告、竞价,我现在就要说这一点,广告讲究什么?讲究的是精准、假如我搜索一个无痛美容、无痛洗牙、那出来无痛人流是OK的,也就是都是医学挂钩的、你这…………

针对 中文分词  ,回头我就现在市面上的 中文分词  器做下对比再发布一篇博客。

关于作者
目前就职于国内某电商平台公司打杂。。
相关文章
Elasticsearch教程(二),IK分词安装
Elasticsearch教程(三),IK分词安装 (极速版)
Elasticsearch 分词,Elasticsearch Java API 分词 操作
Elasticsearch教程,Elasticsearch 设置近义搜索,IK分词器实现同义搜索
Elasticsearch教程,Elasticsearch Java API创建Mapping,指定分词
Mysql5.6下载安装,Mysql5.7下载安装 ,Windows64位,绿色安装(解压缩安装)图文安装教程
Myecilpse,Eclipse安装Freemarker插件【附件】
在windows上安装redis并设置密码,IP绑定【提供安装包】
Elasticsearch权威指南-中文.pdf,Elasticsearch 中文文档下载
MyEclipse8.5,MyEclipse10,安装ERMaster 建模插件
最新文章
免费天气API,全国天气 JSON API接口,可以获取五天的天气预报 39153
SOJSON 使用又拍云 CDN 整体架构,解决百度 SEO 方案 33
又拍云(Upyun)刷新CDN,云存储缓存 —JavaAPI 20
JS解密,JavaScript 解密,任何JS加密都能100%解密,以及JS 加密讲解 83
阿里云DNS 解析讲解,SEO配置搜索引擎线路解析 45
百度秒收录教程,怎么做到百度秒收入你的页面,SEO 教程 101
CDN 请求返回 connection reset by peer,被拦截请求解决方案 37
Google AdSense 申请技巧,谷歌广告申请通不过教程 69
Mac 安装 JMeter,JMeter 下载,JMeter Http 压力测试【图解】 51
支付宝吱口令自动复制脚本,自动复制 JavaScript 代码介绍 916
最热文章
免费天气API,全国天气 JSON API接口,可以获取五天的天气预报 39097
Elasticsearch教程(四) elasticsearch head 插件安装和使用 109124
Elasticsearch教程(六) elasticsearch Client创建 73308
Elasticsearch教程(八) elasticsearch delete 删除数据(Java) 70761
Elasticsearch教程(二),IK分词器安装 67505
Elasticsearch教程(三),IK分词器安装 (极速版) 54092
Elasticsearch教程(五) elasticsearch Mapping的创建 51628
Elasticsearch教程(一),全程直播(小白级别) 51390
Elasticsearch教程(七) elasticsearch Insert 插入数据(Java) 47779
Elasticsearch权威指南-中文.pdf,Elasticsearch 中文文档下载 40948

骚码加入我们 / 千人QQ群:259217951

入群需要5元,如果没有QQ钱包,可以先Alipay、微信,赞助然后加群主拉进。

二维码生成 来自 >> 二维码生成器

支付扫码

所有赞助/开支都讲公开明细,用于网站维护:赞助名单查看

正在加载... ...