基于Elasticsearch的智能客服机器人
本次分享主要会介绍一下ES是如何帮我们完成NLP的任务的。在做NLP相关任务的时候,ES的相似度算法并不足以支撑用户的搜索,需要使用一些与语义相关的方法进行改进。但是ES的很多特性对我们优化搜索体验是非常有帮助的。
简介-Dr.cleaner/Dr.X系列产品
我们主要服务的项目是MAC上的APP——Dr.cleaner以及Dr.X系列产品。
Dr.cleaner在多个国家、地区的清理类MAC APP中排名第一,日活接近百万。
幸福的烦恼:客服
多语言、跨时区:我们的APP在国内可能还不是非常出名,它的目前的客户基本都在海外,其中美国是主要客户,同时也有其它国家跟地区的用户。
数量跟不上:随着用户数的急剧增加,客服的数量跟不上用户数的增长。
解决方案:客服机器人
客服机器人首要能解决产品相关的问题,其次要能解决MAC/IOS相关的技术问题,多语言的问题需要通过翻译API翻译成英语再尝试给出解决方案。
知识库的构成
任何智能客服如果没有足够的知识库支撑,即使它的算法再强大也不行。所以我们把很多MAC相关的网站抓下来塞进我们的数据库中。
各种爬虫
StackExcangeApple分论坛(公开数据源)、Apple Discussion、Mac world、WikiHow…
文档搜索
当用户问题出现的时候,我们如何从文档知识库中找出我们需要的东西?我们之前尝试过直接使用ES,但是距离语义还是太远了,效果并不好。
WMD也有明显缺点,它的算法复杂度非常高,计算速度很慢。WMD不是银弹,即使WMD之后也可能会得到一些不太好的结果。
我们的知识库会先经过ES过滤一层。原始的知识库大概是几十万级别,如果直接用WMD计算的话速度会非常慢。ES在一定程度上保证了它的字面差得不会那么离谱,当字面比较相近的时候它还是能匹配出一些东西。
ES具体操作
这个是最原始的mapping,我们基于这个mapping一步步去做优化。
优化:BM25 or TFIDF
采用BM25之后,当一个词的出现频率越高,到一定的阈值之后,它的影响是非常小的。
我们做了一个实验,修改了mapping,分别使用BM25 or TFIDF。从知识库中随机选取100个问题和10个回答,让ES进行查询,然后对比两边的结果。
我们一共进行了10轮,每轮会有100个回答。如上图可见,两个算法的重复度大概是91%。
根据实验得出,BM25的作用还是比较明显的,最终我们采用了BM25去做相似度的算法。
优化:拼写检查与纠错
我们的方案:Term Suggester + Custom Analyzer
使用Term Suggester
支持直接输入一句话:How to replace macbookk SSD?
Term Suggester自身调整
设定最小出现次数为3,修改了”string_distance”,把它改为”jarowinkler”。它默认的相似度是基于编辑距离的一些定制化,编辑距离默认会输出整数。
改进方法
增加用户行为数据的支撑。Google的算法很大一部分就是有用户行为数据支撑。
“瞻前顾后”,从我们的角度来说,要考虑前后两个词的关系。
优化:输入标准化
解决方案
首先使用Gensim生成备选词组,然后使用规则过滤出比较精确的候选词组。当我们获得一个正确的词组后,可以根据候选词组生成常见的错误写法。最后再实时处理用户输入和批量处理ES存储的知识库。
规则
规则就是纯英文字符,去掉数字。主要是品牌名和版本号。
POS Tagging + 词性过滤
WHY?
WMD的计算强度比较大,如果我们在输入词中能把一些不重要的词去掉,就可以降低WMD的计算强度。
在我们的一些知识库中,它的表达方式不一样。但重要的词换一个表达方式,能够提高准确率。
解决方案
当前我们的解决方案用Python NLTK进行分析过滤,输出每个词的词性,ES存储结果。
我们更为推荐的是使用ES分析、过滤、存储一条龙解决方案,但是这种解决方案需要自己写一个ES的Pos插件。
推荐方案的优点
性能:Java实现的东西一般来说要比纯Python的快,特别是在比较消耗CPU资源的时候。
简单:逻辑不需要在ES和Python两边同时维护。
节省空间:NLTK的模型文件也比较大,多个Docker镜像就意味着占用多个内存、磁盘。
优化:同义词
基于Word2vec的同义词
人为地定义同义词很难,我们是基于Word2vec生成“同义词”。
查询改写方案
我们的同义词方案是通过同义词进行查询改写。
其它一些优化
LTR:Learning to Rank
基于Machine Learning的重排序,模型按照预测的点击概率进行重新排序。
原文链接:https://cloud.tencent.com/developer/article/1083908
基于Elasticsearch的智能客服机器人的更多相关文章
- 瓜子IM智能客服系统的数据架构设计(整理自现场演讲)
本文由ITPub根据封宇在[第十届中国系统架构师大会(SACC2018)]现场演讲内容整理而成. 1.引言 瓜子业务重线下,用户网上看车.预约到店.成交等许多环节都发生在线下.瓜子IM智能客服系统的目 ...
- AI人工客服开发 小程序智能客服 智能客服微信小程序 智能客服系统怎么做 如何设计智能客服系统
今天我们就来给大家分享下如何做 小程序的智能客服问答系统. 首先请确保你的小程序在线客服已经开通使用,并使用代码自己对接好了,将客户的提问自动做了拦截,拦截到了你自己开发的接口上. 做好了拦截以后,我 ...
- Python模拟简易版淘宝客服机器人
对于用Python制作一个简易版的淘宝客服机器人,大概思路是:首先从数据库中用sql语句获取相关数据信息并将其封装成函数,然后定义机器问答的主体函数,对于问题的识别可以利用正则表达式来进行分析,结合现 ...
- 【Google Cloud技术咨询】「Contact Center AI」引领我们走向高度智能客服的时代
前提背景 我们距离"不再智障"的智能客服还有多远?对于智能客服,用户一直都是"批评多于褒奖",究其原因是在于人们对于AI客服的期待很高,而AI客服在实际应用中的 ...
- 关于ajax在微信智能客服管理端的使用
ajax的语法样例: $.ajax({ 'url':url, 'type':'GET', 'dataType':'json', 'data':data, success:function (data) ...
- 智能客服 对话实现--python aiml包
利用了python的aiml包进行应答 什么是AIML? AIML是Richard Wallace开发的. 他开发了一个叫A.L.I.C.E(Artificial Linguistics Intern ...
- 智能客服 利用python运行java代码
因为需要在linux中用python来进行分析,顾需要利用python来运行java中语音转文字和文字转语音代码 在python中运行java代码需要利用jpype
- iOS:移动端“用户反馈和客服”的几个平台SDK的介绍
简单阐述: 用户反馈功能几乎是每个app都有的一个功能点,通过反馈功能实现与用户的连接.沟通,随时随地收集用户意见反馈和Bug报告,即时和用户保持沟通,在一定程度上提升了app的竞争力.而给app评分 ...
- 基于jquery打造的网页右侧自动收缩浮动在线客服代码
基于jquery打造的网页右侧自动收缩浮动在线QQ客服代码, 当前比较流行的一款QQ在线jquery特效代码, 代码中还带有IE6下PNG图片透明的特效,如果想研究IE6下PNG透明的同学也可以下载研 ...
随机推荐
- 2019-04-09-day028-OSI七层模型
内容回顾 概念 架构 : B/S C/S 硬件 : 网卡 :在计算机中 帮助我们完成网络通信 交换机 :在局域网内多台机器之间通信 路由器 :多个局域网之间的机器之间的通信 局域网 :一个区域内的多台 ...
- LeetCode--122、167、169、189、217 Array(Easy)
122. Best Time to Buy and Sell Stock II Say you have an array for which the ith element is the price ...
- 1--常用linux命令
参考链接:http://www.cnblogs.com/yjd_hycf_space/p/7730690.html 文件和目录 cd /home 进入 '/ home' 目录' cd .. 返回上一级 ...
- String中对字符串进行操作的一些方法
1.substring 作用:根据字符串下标进行截取 public class StrTest { public static void main(String[] args) { String a ...
- python 应用 pyamg
paper idea要用到pyamg,虽然这个包只有几行代码,但是还是折磨了我挺久,配置环境什么的就废了挺多时间. 好久没用pyamg了,然后又换了电脑,突然感觉有点方,,都忘了之前怎么弄的,今天运行 ...
- Spring Boot 揭秘与实战(二) 数据存储篇 - MyBatis整合
文章目录 1. 环境依赖 2. 数据源3. 脚本初始化 2.1. 方案一 使用 Spring Boot 默认配置 2.2. 方案二 手动创建 4. MyBatis整合5. 总结 4.1. 方案一 通过 ...
- quartz延迟执行一次
package com.example.balabala; import org.quartz.*; import org.quartz.impl.StdSchedulerFactory; impor ...
- [LeetCode&Python] Problem 292. Nim Game
You are playing the following Nim Game with your friend: There is a heap of stones on the table, eac ...
- Android强制横屏+全屏的几种常用方法
全屏: 在Activity的onCreate方法中的setContentView(myview)调用之前添加下面代码 1 requestWindowFeature(Window.FEATURE_NO_ ...
- ISCC的 Web——WP
比赛已经结束了,自己做出来的题也不是很多,跟大家分享一下 第一题:比较数字大小 打开连接 在里面随意输入一个值,他会提示数字太小了 那么我们输入他允许的最大值试试 他还是提示太小了 我们知道做web‘ ...