Semantic Kernel入门系列:通过依赖注入管理对象和插件
前言
本章讲一下在Semantic Kernel
中使用DependencyInject
(依赖注入),在之前的章节我们都是通过手动创建Kernel
对象来完成框架的初始化工作,今天我们用依赖注入的方式来实现。
实战
定义Native Plugins
我们用官网的LightPlugins
插件来演示依赖注入在SK
中的使用
public class LightPlugin
{
public bool IsOn { get; set; } = false;
#pragma warning disable CA1024 // Use properties where appropriate
[KernelFunction]
[Description("Gets the state of the light.")]
public string GetState() => IsOn ? "on" : "off";
#pragma warning restore CA1024 // Use properties where appropriate
[KernelFunction]
[Description("Changes the state of the light.'")]
public string ChangeState(bool newState)
{
this.IsOn = newState;
var state = GetState();
// Print the state to the console
Console.WriteLine($"[Light is now {state}]");
return state;
}
}
这个插件有两个方法一个是获取当前灯的状态,第二个是改变灯的状态
创建kernel
对象
在之前我们的演示中都是通过Kernel对象提供的CreateBuilder
方法来创建Kernel
对象。
var kernel = Kernel.CreateBuilder().
AddOpenAIChatCompletion(modelId: config.ModelId, apiKey: config.ApiKey)
.Build();
在api项目的开发中,依靠依赖注入的方式更容易管理依赖项,以及对象的复用
依赖注入注入Kernel依赖
有两种方式可以用依赖注入创建Kernel
对象,第一种是借助于KernelServiceCollectionExtensions
累提供的AddKernel
扩展方法,第二种就是自己Kernel kernel = new(services.BuildServiceProvider());
或者services.AddTransient<Kernel>();
AddKernel源码
/// </returns>
/// <remarks>
/// Both services are registered as transient, as both objects are mutable.
/// </remarks>
public static IKernelBuilder AddKernel(this IServiceCollection services)
{
Verify.NotNull(services);
// Register a KernelPluginCollection to be populated with any IKernelPlugins that have been
// directly registered in DI. It's transient because the Kernel will store the collection
// directly, and we don't want two Kernel instances to hold on to the same mutable collection.
services.AddTransient<KernelPluginCollection>();
// Register the Kernel as transient. It's mutable and expected to be mutated by consumers,
// such as via adding event handlers, adding plugins, storing state in its Data collection, etc.
services.AddTransient<Kernel>();
// Create and return a builder that can be used for adding services and plugins
// to the IServiceCollection.
return new KernelBuilder(services);
}
通过源码我们可以看出来,这两种方式基本上没区别,第二种AddKernel
实际上是简化了我们第二种的步骤,我们就用第一种举例演示
//依赖注入
{
IServiceCollection services = new ServiceCollection();
//会话服务注册到IOC容器
services.AddKernel().AddOpenAIChatCompletion(modelId: config.ModelId, apiKey: config.ApiKey, httpClient: client);
services.AddSingleton<KernelPlugin>(sp => KernelPluginFactory.CreateFromType<LightPlugin>(serviceProvider: sp));
var kernel = services.BuildServiceProvider().GetRequiredService<Kernel>();
这就是在依赖注入中注册Kernel
对象和插件
的步骤,依赖项都会被注册到IServiceCollection
中
Semantic Kernel
使用的服务和插件通常作为Singleton
单例注册到依赖注入容器中,以便它们可以在各种Kernel
之间重用/共享。Kernel
通常注册为Transient
瞬态,以便每个实例不受处理其他任务的Kernel
所做更改的影响。
在项目中使用时,我们可以通过在构造函数中获取Kernel
对象的实例,用Kernel
对象来获取服务实例
var chatCompletionService = kernel.GetRequiredService<IChatCompletionService>();
IChatCompletionService
实例也可以通过IServiceProvider
来获取,您可以灵活地使用更适合您要求的方法。
实战
我们用依赖注入跑一下LightPlugin
插件
// Create chat history
var history = new ChatHistory();
// Get chat completion service
var chatCompletionService = kernel.GetRequiredService<IChatCompletionService>();
// Start the conversation
Console.Write("User > ");
string? userInput;
while ((userInput = Console.ReadLine()) is not null)
{
// Add user input
history.AddUserMessage(userInput);
// Enable auto function calling
OpenAIPromptExecutionSettings openAIPromptExecutionSettings = new()
{
ToolCallBehavior = ToolCallBehavior.AutoInvokeKernelFunctions
};
// Get the response from the AI
var result = await chatCompletionService.GetChatMessageContentAsync(
history,
executionSettings: openAIPromptExecutionSettings,
kernel: kernel);
// Print the results
Console.WriteLine("Assistant > " + result);
// Add the message from the agent to the chat history
history.AddMessage(result.Role, result.Content ?? string.Empty);
// Get user input again
Console.Write("User > ");
}
输出:
User > 当前灯光的状态
Assistant > 当前灯光的状态是关闭的。
User > 帮我开个灯
[Light is now on]
Assistant > 已经成功为您点亮了灯。
最后
本文Demo
用的大模型月之暗面的moonshot-v1-8k
"Endpoint": "https://api.moonshot.cn",
"ModelId": "moonshot-v1-8k",
原则上任何支持OpenAI function calling
格式的都可以使用。
通过本章的学习,我们深入了解了在Semantic Kernel
中利用依赖注入的方式来管理Kernel
对象和插件,使得项目开发更加灵活和高效。
参考文献
Using Semantic Kernel with Dependency Injection
示例代码
Semantic Kernel入门系列:通过依赖注入管理对象和插件的更多相关文章
- Semantic Kernel 入门系列:🍋Connector连接器
当我们使用Native Function的时候,除了处理一些基本的逻辑操作之外,更多的还是需要进行外部数据源和服务的对接,要么是获取相关的数据,要么是保存输出结果.这一过程在Semantic Kern ...
- Semantic Kernel 入门系列:🔥Kernel 内核和🧂Skills 技能
理解了LLM的作用之后,如何才能构造出与LLM相结合的应用程序呢? 首先我们需要把LLM AI的能力和原生代码的能力区分开来,在Semantic Kernel(以下简称SK),LLM的能力称为 sem ...
- Semantic Kernel 入门系列:🥑Memory内存
了解的运作原理之后,就可以开始使用Semantic Kernel来制作应用了. Semantic Kernel将embedding的功能封装到了Memory中,用来存储上下文信息,就好像电脑的内存一样 ...
- Semantic Kernel 入门系列:🛸LLM降临的时代
不论你是否关心,不可否认,AGI的时代即将到来了. 在这个突如其来的时代中,OpenAI的ChatGPT无疑处于浪潮之巅.而在ChatGPT背后,我们不能忽视的是LLM(Large Language ...
- Semantic Kernel 入门系列:🪄LLM的魔法
ChatGPT 只是LLM 的小试牛刀,让人类能够看到的是机器智能对于语言系统的理解和掌握. 如果只是用来闲聊,而且只不过是将OpenAI的接口封装一下,那么市面上所有的ChatGPT的换皮应用都差不 ...
- Semantic Kernel 入门系列:💬Semantic Function
如果把提示词也算作一种代码的话,那么语义技能所带来的将会是全新编程方式,自然语言编程. 通常情况下一段prompt就可以构成一个Semantic Function,如此这般简单,如果我们提前可以组织好 ...
- Semantic Kernel 入门系列:💾Native Function
语义的归语义,语法的归语法. 基础定义 最基本的Native Function定义只需要在方法上添加 SKFunction 的特性即可. using Microsoft.SemanticKernel. ...
- Semantic Kernel 入门系列:🥑突破提示词的限制
无尽的上下文 LLM的语言理解和掌握能力在知识内容的解读和总结方面提供了强大的能力. 但是由于训练数据本身来自于公共领域,也就注定了无法在一些小众或者私有的领域能够足够的好的应答. 因此如何给LLM ...
- Semantic Kernel 入门系列:📅 Planner 计划管理
Semantic Kernel 的一个核心能力就是实现"目标导向"的AI应用. 目标导向 "目标导向"听起来是一个比较高大的词,但是却是实际生活中我们处理问题的 ...
- 拥抱.NET Core系列:依赖注入(2)
上一篇"拥抱.NET Core系列:依赖注入(1)"大体介绍了服务注册.获取和生命周期,这一篇来做一些补充. 由于内容跨度大(.NET Core.ASP.NET Core),所以文 ...
随机推荐
- [GPT] golang 有那么多系统包 该如何了解和学习
在学习和了解Golang(Go语言)的系统包时,可以遵循以下步骤来逐步熟悉并掌握它们: 1. 官方文档阅读: 首先从官方文档入手,Go的标准库文档非常详尽且易于理解.你可以访问 Go标准库 来查看各个 ...
- WPF 已知问题 传入错误数据给到 WriteableBitmap 可能导致渲染线程锁住
本文记录一个 WPF 已知问题,此问题已经被我修复.传入错误的数据给到 WriteableBitmap 对象,比如调用 WritePixels 时传入错误的 stride 数值,将可能导致渲染线程进入 ...
- python之爬虫基础
1.爬虫概念 其实就是模拟浏览器发送请求获取相应的数据 1.模拟请求 2.获取数据 3.筛选数据 4.保存数据 爬虫仅仅是将浏览器可以访问到的数据通过代码的方式加速访问 用于更加快速的获取数据,提升工 ...
- Codeforces Round 934 2D/1B
Link 场上思路出的最快的一题,但没调出来. 反着考虑全为回文串需满足哪些情况. 若 \(k = 1\),没有限制条件. 若 \(k = 2\),对于任意三个位置 _ _ _,先填 \(x\) \( ...
- C++ Grammar Focus
一.结构体 1.基础模板 struct Node { <变量类型1> 变量名1; <变量类型2> 变量名2; ... } <定义变量名1>,<定义变量名2&g ...
- 二、Doris架构原理
Doris是一个MPP的OLAP系统,以较低的成本提供在大数据集上的高性能分析和报表查询功能. MPP (Massively Parallel Processing),即大规模并行处理.简单来说,MP ...
- Canvas简历编辑器-我的剪贴板里究竟有什么数据
Canvas图形编辑器-我的剪贴板里究竟有什么数据 在这里我们先来聊聊我们究竟应该如何操作剪贴板,也就是我们在浏览器的复制粘贴事件,并且在此基础上聊聊我们在Canvas图形编辑器中应该如何控制焦点以及 ...
- linux-centos7.6 硬盘挂载
目录 一 .功能 二.VM中设置硬盘 2.1 系统关机状态下 2.2 添加硬盘 三.系统中挂载硬盘 3.1 查看硬盘信息 3.2 硬盘分区 3.3 格式化硬盘 3.4 临时挂载硬盘 3.4 开机自动挂 ...
- element-ui使用el-date-picker日期组件常见场景
开始 最近一直在使用 element-ui中的日期组件. 所以想对日期组件常用的做一个简单的总结: 1.处理日期组件选择的时候面板联动问题 2.限制时间范围 解除两个日期面板之间的联动 我们发现2个日 ...
- 案例-java贪吃蛇(附源码)
创建屏幕 开始游戏的窗口,首先引入窗口,然后在窗口画布上进行添加各类动画. JFrame frame=new JFrame("My SnakeGame"); Jframe 是个类, ...