一.算法应用背景 计算广告学(Computational Advertising)是一门广告营销科学,以追求广告投放的收益最大化为目标,重点解决用户与广告匹配的相关性和广告的竞价模型问题,涉及到自然语言处理.数据挖掘以及竞价营销.创意设计等诸多学科的融合.计算广告是依据给定的用户和网页内容,通过计算得到与之最匹配的广告并进行精准定向投放的一种广告投放机制.其目的是为用户提供最易于接受的优质广告:对于广告主的广告投放效果负责.综合用户和广告主之间的关系.进行广告竞价产生最大收益. 对于用户而言,计…

在协同过滤推荐算法总结中,我们讲到了用图模型做协同过滤的方法,包括SimRank系列算法和马尔科夫链系列算法.现在我们就对SimRank算法在推荐系统的应用做一个总结. 1. SimRank推荐算法的图论基础 SimRank是基于图论的,如果用于推荐算法,则它假设用户和物品在空间中形成了一张图.而这张图是一个二部图.所谓二部图就是图中的节点可以分成两个子集,而图中任意一条边的两个端点分别来源于这两个子集.一个二部图的例子如下图.从图中也可以看出,二部图的子集内部没有边连接.对于我们的推荐算法中的…

simrank 背景 度量相似度是许多应用的关键问题.传统方法与问题的领域相关,如文本匹配.计算交集.simrank则利用关联关系度量相似性,即"两个节点的相似性和各自邻域节点的相似度有关". 算法 simrank的核心公式: 当,并且,时, 当, 当,或者 通过多轮迭代,可以收敛. mapreduce实现 利用mapreduce,容易进行上述的迭代计算. (1)初始状态: 相似度矩阵是单位阵: 邻接集合列, (2)每轮迭代 input: a_b, s(a,b), x_a, x_b 其…

本文主要针对广告检索领域的查询重写应用,依据查询-广告点击二部图,在MapReduce框架上实现SimRank++算法.关于SimRank++算法的背景和原理请參看前一篇文章<基于MapReduce的SimRank++算法研究与实现>. SimRank++的矩阵形式的计算公式为: 算法主要过程例如以下: Step1: 计算权值矩阵.并获取最大Query编号和最大广告编号. Step2: 以Step1的输出作为输入,迭代计算SimRank相似度. Step3: 计算证据矩阵.并用计算结果修正St…

1.数据 pc,hp.com pc,hp.com pc,hp.com pc,hp.com pc,hp.com pc,hp.com pc,hp.com pc,hp.com pc,hp.com pc,hp.com camera,hp.com camera,hp.com camera,hp.com camera,hp.com camera,hp.com camera,hp.com camera,hp.com camera,hp.com camera,hp.com camera,hp.com camer…

中心词抽取项目总结 B2B国际站Query重写.ppt 达观数据搜索引擎的Query自动纠错技术和架构详解 Natural Language Processing Simrank++ Query rewriting through link analysis of the click graph Probabilistic Query Rewriting for Efficient and Effective Keyword Search on Graph Data.1642-1653 Deep…

背景 用户合作产生内容的网站越来越多,有许多隐藏的信息可以去挖掘 wiki上保存了贡献者的编辑记录,提供了非常多的有用的信息 研究发现,大部分的贡献者仅仅会参与编辑很小数量的文章,修改的版本也有限制,通常也只在某几个特定的领域/话题中 含有某个主题的文章通常指吸引特定一部分的读者和编辑者 论文关注点 提出一个新的相似度计算方法 expert-based similarity 应用于维基上有争论性的文章集,从而达到更好的聚类效果 维基上争论性的文章的缘由是和自身的特定主题相关的,而不是相关编辑参与…

为何需要Query改写 Query分析是搜索引擎的一个重要模块,对搜索结果的覆盖率和相关性至关重要.搜索引擎的检索过程包含了两个重要的阶段:匹配和排序.匹配也叫召回,表示根据用户的查询条件,尽可能多地匹配出主题相关的文档,尽可能少地匹配出主题不相关的文档.排序是指对召回阶段返回的文档集合进行合理的排序,把最满足用户意图的结果尽可能排到前面.Query分析的主要目标是为匹配过程提供必要的知识和信息,同时兼顾后面的排序过程,为排序模型提供原始特征. Query改写是Query分析的一个重要组成部分.…

query聚类 目的 query聚类主要有以下两个目的 解决query空间稀疏问题(长尾query) 挖掘用户意图(一条行为包含的意图是稀疏的,当有一簇行为时,意图更明确) 可以说聚类是构建内容模型的重要手段 Content Based聚类 Content based聚类基于query本身,即两个query包含相同的term.优点是可以将形态相似的query聚到一起,但是会遗漏掉意图相同但query形态不同的query.精度高,召回低 Session Based聚类 Session Based聚…

导读 POI是“Point of interest”的缩写,中文可以翻译为“兴趣点”.在地图上,一个POI可以是一栋房子.一个商铺.一个公交站.一个湖泊.一条道路等.在地图搜索场景,POI是检索对象,等同于网页搜索中的网页.在地图客户端上,用户选中一个POI,会有一个悬浮的气球指向这个POI. 如上图左边,这家商场内的屈臣氏是一个POI:而所谓类别标签,就是在类别维度对POI属性的一种概括,比如,屈臣氏的类别标签化妆品,而屈臣氏所坐落的凯德mall,类别标签是商场:右侧则是商场query搜索召回…

目录: 一.简介: 1.用户意图识别概念 2.用户意图识别难点 3.用户意图识别分类 4.意图识别方法: (1)基于规则 (2)基于穷举 (3)基于分类模型 二.意图识别具体做法: 1.数据集 2.数据处理 3.query分析 query纠错.[query rewrite] query 词自动提示.[query相关性计算] query扩展,[query相关性计算] query自动分类.[query类目预测] 语义标签.[query tagging] 4.特征工程 5.分类训练 三.应用场景 四.…

由于neo4j在查找过程中具有事务,所以查询的速度非常慢!给出的建议如下: 一,将所有查询放在一个Session中,当所有查询完毕以后在关闭Driver和Session: 二,使用neo4j连接池,使用过Java连接池的都知道,创建一个连接的List,创建连接对象从List中取,销毁对象使用装饰者模式改写jdbc#close()方法,将连接对象再次放回List中.在这个使用连接池中对于多个连接对象,需要实现多线程和线程安全的数据结构,这样才能事半功倍. 三,使用SimRank和PageRank…

Alink漫谈(二十二) :源码分析之聚类评估 目录 Alink漫谈(二十二) :源码分析之聚类评估 0x00 摘要 0x01 背景概念 1.1 什么是聚类 1.2 聚类分析的方法 1.3 聚类评估 0x02 Alink支持的评估指标 2.1 轮廓系数(silhouette coefficient): 2.2 Calinski-Harabaz(CH) 2.3 Davies-Bouldin指数(Dbi) 2.4 Rand index(兰德指数)(RI) .Adjusted Rand index(调…

协同过滤 collaborative filtering 人以类聚,物以群分 相似度 1. Jaccard 相似度 定义为两个集合的交并比: Jaccard 距离,定义为 1 - J(A, B),衡量两个集合的区分度: 为什么 Jaccard 不适合协同过滤?-- 只考虑用户有没有看过,没考虑评分大小 2. 余弦相似度 根据两个向量夹角的余弦值来衡量相似度: 为什么余弦相似度不适合协同过滤?-- 不同用户各自评分总和不一样,导致评分占总比不一样,可能计算出和事实相反的结果. 3. Pearson…

论文信息 论文标题:GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training论文作者:Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, Jie Tang论文来源:2020, KDD论文地址:download论文代码:download 1 Introduction 本文的预训练任务:子图实例判…