【阅读笔记】Ranking Relevance in Yahoo Search (四 / 完结篇)—— recency-sensitive ranking
7. RECENCY-SENSITIVE RANKING
作用:
为recency-sensitive的query提高排序质量;
对于这类query,用户不仅要相关的还需要最新的信息;
方法:recency-demoted relevance
1) 对每篇doc,按照它的freshness程度进行分级:very fresh, fresh, slightly out-dated, stale, 和 non-time-sensitive(与时间无关);
2) 在base relevance的基础上,根据freshness进一步调整relevance:
VF | F | SO | S | NT | |
Perfect | Perfect | Perfect | Excellent | Good | Perfect |
Excellent | Perfect | Excellent | Good | Fair | Excellent |
Good | Good | Good | Fair | Bad | Good |
Fair | Fair | Fair | Bad | Bad | Fair |
Bad | Bad | Bad | Bad | Bad | Bad |
3)数据:“收集training data”
- 寻找大量的近期标签是不太可能的事情,因为近期的标签总是很快就out of data;
- 因此需要利用a large relevance dataset without recency labels and a small recency dataset for building the recency ranker;
4)公式:(待添加)
备注:
- 其中freshness组件是基于recency dataset训练得到的:通过time-sensitive classifier来决定此component是否要被添加;
- frel(x)代表基本的ranker;rfresh(x)代表freshness组件;cts代表time-sensitivity分类器;
- 仅当Cts表明x为time-sensitive query-url对时,rfresh(x)才被添加;
重点:time-sensitive classifier的训练;freshness component;
1) time-sensitive classifier
use the recency dataset and transform the freshness labels into binary labels (eg:non-time-sensitive to negative and other labels to positive) and train a binary classfier;
2)build rfresh(x)
use the frel(x) as the base ranker, and add more trees to optimize the goal of recency-demoted relevance;
8. LOCATION-SENSITIVE RANKING
location-sensitive query:
一些query的搜索结果与location关系密切,此类query我们称之为location-sensitive queries, 分为:
explicit local query - queries with specific location names(eg:"restaurants Boston");
implicit local query - queries without location but with location-sensitive intention(eg:"restaurant");
方法:通过query和url直接的距离d(query, url)来计算;
但如果使用过去的learning-to-rank模型的话,d(query, url)特征的影响不大,所以新建以下模型用来计算 -
模型:location boosting rankin model
1)分别从query和web page中提取出location:
- explicit local query - directly parse the location in explicit local query;
- implicit local query - use use's location;
- web pages - extracted based on the query-url click graph from search logs,or parse the locations from urls directly;
2)根据各自的location,计算query和web page之间的距离:
公式(待加)
以上logistic function考虑到base relevance和location之间的距离两个因素:
- 当doc的url地址和用户很接近,而且doc的内容也和query匹配时,对该doc进行提权操作;
- 若doc的url地址和用户很接近,但是doc的内容与query不相关,将不对该doc提权,ranking结果此时仅有base ranking function决定;
- 若doc的内容与query相关度很高,但doc的url地址与用户相隔很远,将不对该doc提权,ranking结果此时仅有base ranking function决定;
备注:
d^(query,url)代表d(query,url)的归一化,范围为[0,1];
fb(x)表示基于base ranking function得到的query和url的相关度;
3)参数的确定:
参数w, α, β通过以下公式由成对的数据确定 -
公式(待加)
备注:
其中P={(pi, pj)| pi > pj}是对于同一个query的一系列url pairs,pi > pj表示pi的相关性好于pj;
我们通过standard gradient descent approach来得到参数的最优化结果;
9. CONCLUSION
In this paper, we introduce the comprehensive relevance solutions of Yahoo search.
【阅读笔记】Ranking Relevance in Yahoo Search (四 / 完结篇)—— recency-sensitive ranking的更多相关文章
- 【阅读笔记】Ranking Relevance in Yahoo Search (二)—— maching learned ranking
3. MACHINE LEARNED RANKING 1) 完全使用不好的数据去训练模型不可行,因为负面结果不可能覆盖到所有方面: 2) 搜索可以看做是个二分问题,在此实验中,我们使用gradient ...
- 【阅读笔记】Ranking Relevance in Yahoo Search (一)—— introduction & background
ABSTRACT: 此文在相关性方面介绍三项关键技术:ranking functions, semantic matching features, query rewriting: 此文内容基于拥有百 ...
- 【阅读笔记】Ranking Relevance in Yahoo Search (三)—— query rewriting
5. QUERY REWRITING 作用: query rewriting is the task of altering a given query so that it will get bet ...
- Ranking relevance in yahoo search (2016)论文阅读
文章链接 https://www.kdd.org/kdd2016/papers/files/adf0361-yinA.pdf abstract 点击特征在长尾query上的稀疏性问题 基础相关性三大技 ...
- 短信发送接口被恶意访问的网络攻击事件(四)完结篇--搭建WAF清理战场
前言 短信发送接口被恶意访问的网络攻击事件(一)紧张的遭遇战险胜 短信发送接口被恶意访问的网络攻击事件(二)肉搏战-阻止恶意请求 短信发送接口被恶意访问的网络攻击事件(三)定位恶意IP的日志分析脚本 ...
- Hadoop阅读笔记(四)——一幅图看透MapReduce机制
时至今日,已然看到第十章,似乎越是焦躁什么时候能翻完这本圣经的时候也让自己变得更加浮躁,想想后面还有一半的行程没走,我觉得这样“有口无心”的学习方式是不奏效的,或者是收效甚微的.如果有幸能有大牛路过, ...
- Mina源码阅读笔记(四)—Mina的连接IoConnector2
接着Mina源码阅读笔记(四)-Mina的连接IoConnector1,,我们继续: AbstractIoAcceptor: 001 package org.apache.mina.core.rewr ...
- Kafka 权威指南阅读笔记(第三章,第四章)
Kafka 第三章,第四章阅读笔记 Kafka 发送消息有三种方式:不关心结果的,同步方式,异步方式. Kafka 的异常主要有两类:一种是可重试异常,一种是无需重试异常. 生产者的配置: acks ...
- C++ Primer 第四版阅读笔记
阅读笔记 初始化 变量定义指定了变量的类型和标识符,也可以为对象提供初始值.定义时指定了初始值的对象被称为是 已初始化的.C++ 支持两种初始化变量的形式:复制初始化和 直接初始化.复制初始化语法用等 ...
随机推荐
- mpvue-新建页面、页面跳转、自适应单位
1.mpvue怎么新建页面? (1)粘贴复制一个页面文件夹,只需要改文件夹名- 文件名不需要改,main.js里的东西不用动.export default里更改局部顶部栏配置. (2)index.vu ...
- Tkinter 控件
文章更新于:2020-02-19 待翻译跟进 In this part of the Tkinter tutorial, we will cover some basic Tkinter widget ...
- (js描述的)数据结构[双向链表](5)
(js描述的)数据结构[双向链表](5) 一.单向链表的缺点 1.只能按顺序查找,即从上一个到下一个,不能反过来. 二.双向链表的优点 1.可以双向查找 三.双向链表的缺点 1.结构较单向链表复杂. ...
- (js描述的)数据结构[队列结构,优先级队列](3)
(js描述的)数据结构[队列结构](3) 一.队列结构的特点: 1.基于数组来实现,的一种受限的线性结构. 2.只允许在表头进行删除操作,在表尾进行插入操作. 3.先进先出(FIFO) 二.队列的一些 ...
- 2017蓝桥杯九宫幻方(C++B组)
题目:九宫幻方 小明最近在教邻居家的小朋友小学奥数,而最近正好讲述到了三阶幻方这个部分,三阶幻方指的是将1~9不重复的填入一个3*3的矩阵当中,使得每一行.每一列和每一条对角线的和都是相同的. ...
- python3(十九)Partial func
# 偏函数(Partial function) # 如int()函数可以把字符串转换为整数,当仅传入字符串时,int()函数默认按十进制转换 # 但int()函数还提供额外的base参数,默认值为10 ...
- Linux中vim编辑器 的 快捷键 --- 常用 的 都比较全
Linux中vim编辑器的功能非常强大,许多常用快捷键用起来非常方便,这里将我学vim入门时学的一些常用的快捷键分享给大家一下,希望可以帮助你们. 这个是我将鸟哥书上的进行了一下整理的,希望不要涉及到 ...
- windows VMware 安装mac 系统
0x00 下载链接 首先肯定要有镜像: 链接:https://pan.baidu.com/s/190NBRBwNXVOYRxb6nodHeA 提取码:ahq5 然后还得有这个插件: 链接:https: ...
- SpringBoot实现图片上传demo&Nginx进行代理显示
公司项目需要一个图片上传的功能,就图片能上传到服务器(公司用的windows服务器),然后nginx能进行代理访问到就行了,先简单介绍一下nginx,然后再来实现功能. 一.nginx简介 Nginx ...
- day02,静态库和动态库
一.首先我们来看一下什么是静态库和动态库,在这之前我们来看一下编译成可执行文件的过程: 1.静态库(.a..lib):就是在使用的时候会把代码复制到文件中: 它的优点:独立,在链接后不需要静态库源文件 ...