1. 背景

应项目需求,本qiang~这两周全身心投入了进去。

项目是关于一个博物馆知识图谱,上层做KBQA应用。实现要求是将传统KBQA中的部分模块,如NLU、指代消解、实体对齐等任务,完全由LLM实现,本qiang~针对该任务还是灰常感兴趣的,遂开展了项目研发工作。

注意,此篇是纯纯的干货篇,除了源码没有提供外,整体核心组件均展示了出来。也是这两周工作的整体总结,欢迎大家查阅以及加关注(不强求哈~)

2. 整体框架

整体思想还是遵循RAG策略,从图谱召回候选背景知识,让LLM进行润色回答。

具体的流程如下:

(1) 用户提问:已发现的体重最大的肉食性恐龙是什么

(2) 对齐模块。

对齐模块的主要作用是针对问题与知识图谱中的实体、概念、关系、属性进行对齐。

其中候选概念、候选属性、候选关系在图谱中的数量是少量有限的,而实体的数量可多可少,因此候选概念、候选属性、候选关系可以在查询hugegraph后,直接拼到对齐prompt中(对齐的prompt预留了占位符),而实体则需要进行预筛选,筛选的方式是通过问题query与实体名进行语义相似度比较,通过语义相似度引擎实现,比如simbert, bge, gte等开源模型,预筛选后的少量实体可以拼接到对齐prompt。

对齐的prompt增加要求和few-shot示例,可以解决常见对齐问题,比如实体、概念、属性、关系存在缺字、多字、相似字等情况。

(3) 对齐模块经过LLM进行对齐,输出对齐结果。

本示例的对齐结果为:(属性-等于-体重)且(属性值-等于-最大); (属性-等于-食性)且(属性值-等于-肉食性);(概念-等于-恐龙)。

(4) 对齐校准模块。

对齐校准模块主要针对LLM对齐结果进行二次校对,解决的问题如下:

1) 一些LLM将概念与实体混淆的情况;

2) 与图谱中的实体、概念、属性、关系进行对齐匹配;

3) 实体名和概念名重复时,二者均进行召回等

(5) 解析及溯源模块

解析模块:

针对校准后的对齐结果,执行解析模块,解析模块会基于对齐结果进行判断,该执行如下哪种解析,候选的解析列表有:纯实体解析、纯概念解析、实体-属性解析、概念-属性解析、属性-属性值解析、属性-属性值-概念解析等。

(Ps: 候选解析列表是分析了大量数据之后,抽象出来的解析列表,常见的问答基本就涵盖在这些列表中)

每个解析模块会有不同的解析逻辑,例如:

1) 纯实体解析:会将查询hugegraph得到的实体作为背景知识提供给LLM,如介绍下霸王龙

2) 纯概念解析:会查询概念下有哪些实体,且仅列出实体名称作为背景知识提供给LLM,如恐龙都有哪些?

3) 实体-属性解析:会查询实体对应的属性或关系,并作为背景知识,如霸王龙有多重多高?

4) 概念-属性解析:会查询概念下实体的属性信息作为背景知识,如恐龙目下动物的体重分别是多少?

5) 属性-属性值解析:会查询属性对应属性值的信息,并作为背景知识,如肉食性的动物有?

溯源模块:主要功能就是从图谱中查询的结果,需要返回图谱对应的实体id、概念id、属性等

6) 问答模块

通过将解析后的背景知识以及用户的问题,经过问答prompt,然后调用LLM进行润色回答。

PS:

对齐prompt调用大模型是非流式输出,因为对齐结果不需要实时同步给用户;

问答prompt调用大模型是流式输出,因为问答结果需要实时同步给用户

3. 优缺点

(1) 优点

1) 整体架构简单,仅需要2个prompt,与LLM仅交互2次

2) 解析模块基于多数据集进行抽象,可覆盖多数查询场景

3) 针对未覆盖的场景,解析模块可支持快速扩展适配

4) 迁移新图谱时,业务只需要更改prompt即可,对业务相对友好

(2) 缺点

1) 首字响应时间主要耗时在对齐prompt与LLM的交互中,因为需要对齐完整输出结果

2) 概念、属性、实体对齐集中在1个prompt中,所以prompt的长度较长

4. 多轮问答实现

实现的思路如下:

1) 缓存历史问题以及缓存历史对齐的实体或概念,如可以缓存最近10轮的用户问题以及对齐结果

2) 针对指代消解、语义对齐prompt调优,且多轮问答的prompt也集成在对齐prompt中(因此,对齐prompt任务十分繁重)

具体示例如下(从对齐prompt截取了部分,第一次输入参考为空):

历史输入信息:

```

输入:盐都龙喜欢吃什么

参考:

输入:喜欢生活在什么地方

参考:盐都龙

输入:三角龙是植食还是肉食

参考:盐都龙

输入:有什么本事

参考:三角龙

输入:普尔塔龙多重

参考:三角龙

```

现在请回答:

输入: 吃什么

参考: 普尔塔龙

输出:

具体的效果可以查阅下面章节中的效果示例。

5. 效果

图谱三元组总量3000+,测试样例共计385条,其中单轮问答340条,多轮问答45条。

(1) 单轮问答效果,准确率93%+

一阶问答

华阳龙的头骨化石是在哪里发现的

华阳龙的头骨化石是在中国四川省发现的。

判断问答

恐爪龙有4米长吗

恐爪龙的身长是3.5米左右,没有4米。

对比问答

三角龙和姜氏巴克龙谁更重

三角龙更重。

条件问答

化石在四川发现的恐龙有哪些

最大体型的长羽毛恐龙是二连巨盗龙。

组合问答

单爪龙身长体重多少?

单爪龙的身长是1~1.2米,体重约3.5千克。

(2) 多轮问答效果,准确率93%+

1) 示例1:缺字情况

问:普尔塔多重

答:普尔塔龙的体重是75吨。

问:吃什么

答:普尔塔龙是植食性的

2) 示例2:错字情况

问:河堤列龙生活在什么地方

答:河堤猎龙生活在英国的怀特岛和奇尔顿岭。

问:它是什么时候的恐龙

答:河堤猎龙是早白垩世,巴雷姆期的恐龙。

3) 示例3:较困难的指代消解

问:三角龙是植食还是肉食

答:三角龙是植食性的。

问:有啥本事

答:三角龙的能力是快速奔跑。

问:和肿头龙比,谁更长一些?

答:三角龙的身长为8米,而肿头龙的身长为4~6米。因此,三角龙更长一些。

问:那它的体重是多少?

答:三角龙的体重是6.1~12吨。

6. 答疑解惑

(1) 候选实体、候选概念、候选属性如何动态加载至prompt?

解:prompt预留占位符,代码解析时进行格式化

(2) 概念、属性数量有限,可以全部写在prompt,但如果实体有1W个呢?

解:基于sim进行候选实体召回策略

(3) 如何实现流式输出?

解:基于tornado的websocket框架,结合异步框架asyncio以及python的yield、next等方法实现

(4) 非流式调用LLM出现网络不稳定导致超时,如何解决?

解:增加重试机制

(5) 对齐结果如何进一步保障?

解:增加对齐校准模块

(6) 如何减少频繁调用hugegraph

解:预先加载图谱至内存,然后使用python的lru_cache缓存机制

(7) 如何提高属性、概念、实体对齐的准确率,比如多字、缺字、相近字等?

解:对齐prompt增加要求以及few-shot

(8) 如何解决实体文字完全不一致,但指的同一个实体的情况,比如霸王龙和雷克斯暴龙?

解:通过图谱的别名维护,且当前别名与正式名地位相同

(9) 溯源是如何实现的?

解:在每个解析分支中,基于解析结果增加对应图谱的信息

(10) 如何实现最大、最小之类的查询,如体重最大的植食性恐龙是哪个?

解:对齐结果:(属性-等于-体重)且(属性值-等于-最大)且(概念-等于-恐龙)

解析逻辑:筛选恐龙概念下实体 -> 食性为植食性的实体 -> 其中体重最大的

(11) 如何实现关系的推理,比如鱼石螈演进关系的演进关系是?

解:原始图谱关系:鱼石螈 -> 演进关系 ->蜥螈 -> 演进关系 -> 异齿龙

对齐结果:(实体-等于-鱼石螈)且(属性-等于-演进关系);(属性-等于-演进关系)

答案:鱼石螈的演进关系是蜥螈,而蜥螈的演进关系是异齿龙。

(12) 为什么说解析模块便于快速扩展?

解:实体、概念、属性查询接口均封装为独立方法。

(13) 对比类、判断类的问题回答如何更加口语化?

解:问答prompt调优

(14) 如何快速定位问题?

解:增加debug机制,即接口调用时,debug机制会将每个阶段的处理结果均记录下来,并返回。

(15) 目前支持多少轮问答?

解:理论上支持N多轮,且N支持配置

(16) 如何提高指代消解的准确率?

解:对齐prompt增加历史的参考实体或概念

7. 遗留的问题

(1) 基于属性值查实体未实现,分析部分badcase,属于此类情况

(2) 路径查询未实现,因为当前图谱关系数量极少

8. 总结

一句话足矣~

本文主要是KBQA方案基于LLM实现,主要模块包括对齐、解析、润色、多轮问答等内容,而且基于业务测试集效果相对较好。

纯纯的干货篇!!


原创声明,禁止转载!

LLM应用实战:当KBQA集成LLM的更多相关文章

  1. 最佳实战Docker持续集成图文详解

    最佳实战Docker持续集成图文详解 这是一种真正的容器级的实现,这个带来的好处,不仅仅是效率的提升,更是一种变革:开发人员第一次真正为自己的代码负责——终于可以跳过运维和测试部门,自主维护运行环境( ...

  2. Apache CXF实战之二 集成Sping与Web容器

    本文链接:http://blog.csdn.net/kongxx/article/details/7525481 Apache CXF实战之一 Hello World Web Service 书接上文 ...

  3. Spring Boot实战系列(7)集成Consul配置中心

    本篇主要介绍了 Spring Boot 如何与 Consul 进行集成,Consul 只是服务注册的一种实现,还有其它的例如 Zookeeper.Etcd 等,服务注册发现在微服务架构中扮演这一个重要 ...

  4. Spring Boot实战三:集成RabbitMQ,实现消息确认

    Spring Boot集成RabbitMQ相比于Spring集成RabbitMQ简单很多,有兴趣了解Spring集成RabbitMQ的同学可以看我之前的<RabbitMQ学习笔记>系列的博 ...

  5. Spring Boot实战二:集成Mybatis

    Spring Boot集成Mybatis非常简单,在之前搭建好的项目中加入Mybatis依赖的jar,在配置文件中加入数据库配置即可,如下图所示: 创建对应的Controller.Service.Da ...

  6. .NET ORM框架HiSql实战-第一章-集成HiSql

    一.引言 做.Net这么多年,出现了很多很多ORM框架,比如Dapper,Sqlsugar,Freesql等等.在之前的项目中,用到的ORM框架也大多数是这几个老牌的框架. 不过最近园子关于.NET ...

  7. .NET Core IdentityServer4实战 第Ⅳ章-集成密码登陆模式

    回顾下ClientCredentials模式,在ReSourceApi中定义了我们公开服务,第三方网站想要去访问ReSourceApi则需要在身份验证服务中获取toekn,根据token的内容,硬编码 ...

  8. 微软开源了一个 助力开发LLM 加持的应用的 工具包 semantic-kernel

    在首席执行官萨蒂亚·纳德拉(Satya Nadella)的支持下,微软似乎正在迅速转变为一家以人工智能为中心的公司.最近微软的众多产品线都采用GPT-4加持,从Microsoft 365等商业产品到& ...

  9. LDAP落地实战(四):Jenkins集成OpenLDAP认证

    前几篇分文章分别介绍了OpenLDAP的部署管理和维护以及svn.git的接入,今天我们再下一城接入jenkins. 前情提要:LDAP系列文章 LDAP落地实战(一):OpenLDAP部署及管理维护 ...

  10. 集成 Spring Doc 接口文档和 knife4j-SpringBoot 2.7.2 实战基础

    优雅哥 SpringBoot 2.7.2 实战基础 - 04 -集成 Spring Doc 接口文档和 knife4j 前面已经集成 MyBatis Plus.Druid 数据源,开发了 5 个接口. ...

随机推荐

  1. 【Azure Redis 缓存】Azure Cache for Redis 服务的导出RDB文件无法在自建的Redis服务中导入

    问题描述 使用微软云的Redis服务,导出它的RDB文件后,想把数据恢复到本地自建的Redis服务中,发现出现如下错误: 15000:S 21 Jun 08:14:11.199 * Retrying ...

  2. 主流开源分布式图计算框架 Benchmark

    本文由美团 NLP 团队高辰.赵登昌撰写,首发于 Nebula Graph Community 公众号 前言 随着近年来数据的爆炸式增长,如何高效地分析处理数据,在业界一直备受关注.现实世界中的数据往 ...

  3. 解决celery与django结合后,分别启动celery和django的进程同时调用定时任务的问题

    django中引入celery后发现在代码中写如下这样的定时任务,启动celery和django的工程后,他们都会调用这个定时任务导致,任务有的时候会冲突出现奇怪的问题.如何解决请继续看. sched ...

  4. 【对比】Gemini:听说GPT-4你小子挺厉害

    前言 缘由 谷歌连放大招:Gemini Pro支持中文,Bard学会画画 事情起因: 一心只读圣贤书的狗哥,不经意间被新闻吸引.[谷歌最新人工智能模型Gemini Pro已在欧洲上市 将与ChatGP ...

  5. Java 基本数据类型之间的运算规则

    1 /*** 2 * 基本数据类型之间的运算规则 3 * 4 * 前提:7中基本数据类型运算 5 * 6 * 1.自动类型提升: 7 * 当容量小的类型与容量大的数据类型的变量做运算时,结果自动提升为 ...

  6. 从 HPC 到 AI:探索文件系统的发展及性能评估

    随着 AI 技术的迅速发展,模型规模和复杂度以及待处理数据量都在急剧上升,这些趋势使得高性能计算(HPC)变得越来越必要.HPC 通过集成强大的计算资源,比如 GPU 和 CPU 集群,提供了处理和分 ...

  7. foundation部分学习记录(更正更新中……)

    foundation部分学习记录(更新中--) 从FDB的角度看,它对上层只提供有序+事务+KV存储的抽象. 设计原则 模块化分割,尽量细分且模块之间相互解耦 例如事务系统内,其提交(write pa ...

  8. redis同步锁的真实应用场景

    一.问题由来 现在正在做的小程序后台中,有一个功能叫做高光时刻,在操作高光时刻的时候,可能会有多个用户来同时想操作这个功能,可是在同一时间只能 有一个用户能够操作.刚开始做的时候,自己的做法是在red ...

  9. [非常重要] 通过ssh的方式提交github

    通过ssh的方式提交github - 重要文章!!vscode提交github 原因: github的https的clone项目报错,所以改用ssh的方式 1 本地创建ssh秘钥 目录是 .ssh 我 ...

  10. 基于wifi的音频采集及处理解决方案小结

    一沉浮    这些年,一直围绕着音频来做案子,做出来的案子自己都数不清楚了.记得前几年,刚出道的时候,就把wifi音频传输的设备做出来了.可惜的是,当初太超前市场了,鲜有人问.随着时间的推移,在疫情之 ...