【原创】Linux虚拟化KVM-Qemu分析(三)之KVM源码(1)
背景
Read the fucking source code!
--By 鲁迅A picture is worth a thousand words.
--By 高尔基
说明:
- KVM版本:5.9.1
- QEMU版本:5.0.0
- 工具:Source Insight 3.5, Visio
- 文章同步在博客园:
https://www.cnblogs.com/LoyenWang/
1. 概述
- 从本文开始将开始
source code
的系列分析了; KVM
作为内核模块,可以认为是一个中间层,向上对接用户的控制,向下对接不同架构的硬件虚拟化支持;- 本文主要介绍体系架构初始化部分,以及向上的框架;
2. KVM初始化
- 贝多芬曾经说过,一旦你找到了代码的入口,你就扼住了软件的咽喉;
- 我们的故事,从
module_init(arm_init)
开始,代码路径:arch/arm64/kvm/arm.c
;
老规矩,先来一张图(图片中涉及到的红色框函数,都是会展开描述的
):
- 内核的功能模块,基本上的套路就是:1)完成模块初始化,向系统注册;2)响应各类请求,这种请求可能来自用户态,也可能来自异常响应等;
kvm
的初始化,在kvm_init
中完成,既包含了体系结构相关的初始化设置,也包含了各类回调函数的设置,资源分配,以及设备注册等,只有当初始化完成后,才能响应各类请求,比如创建虚拟机等;- 回调函数设置:
cpuhp_setup_state_nocall
与CPU的热插拔相关,register_reboot_notifer
与系统的重启相关,register_syscore_ops
与系统的休眠唤醒相关,而这几个模块的回调函数,最终都会去调用体系结构相关的函数去打开或关闭Hypervisor
; - 资源分配:
kmem_cache_create_usercopy
与kvm_async_pf_init
都是创建slab缓存
,用于内核对象的分配; kvm_vfio_ops_init
:VFIO
是一个可以安全将设备I/O
、中断、DMA导出到用户空间的框架,后续在将IO虚拟化时再深入分析;
- 回调函数设置:
- 图片中红色的两个函数,是本文分析的内容,其中
kvm_arch_init
与前文ARMv8
硬件虚拟化支持紧密相关,而misc_register
与上层操作紧密相关;
2.1 kvm_arch_init
It's a big topic, I'll try to put it in a nutshell.
- 这部分内容,设计ARMv8体系结构,建议先阅读
《Linux虚拟化KVM-Qemu分析(二)之ARMv8虚拟化》
; - 红色框的函数是需要进一步展开讲述的;
is_hyp_mode_available
用于判断ARMv8的Hyp
模式是否可用,实际是通过判断__boot_cpu_mode
的值来完成,该值是在arch/arm64/kernel/head.S
中定义,在启动阶段会设置该值:
is_kernel_in_hyp_mode
,通过读取ARMv8的CurrentEL
,判断是否为CurrentEL_EL2
;- ARM架构中,
SVE
的实现要求VHE
也要实现,这个可以从arch/arm64/Kconfig
中看到,SVE
的模块编译:depends on !KVM || ARM64_VHE
。SVE(scalable vector extension)
,是AArch64
下一代的SIMD(single instruction multiple data)
指令集,用于加速高性能计算。其中SIMD
如下:
init_common_resources
,用于设置IPA
的地址范围,将其限制在系统能支持的物理地址范围之内。stage 2
页表依赖于stage 1
页表代码,需要遵循一个条件:Stage 1
的页表级数 >=Stage 2
的页表级数;
2.1.1 init_hyp_mode
- 放眼望去,
init_hyp_mode
解决的问题就是各种映射,最终都会调用到__create_hyp_mappings
,先来解决这个映射问题:
- 看过之前内存管理子系统的同学,应该熟悉这个页表映射建立的过程,基本的流程是给定一个虚拟地址区间和物理地址,然后从
pgd
开始逐级往下去建立映射。ARMv8架构在实际映射过程中,P4D
这一级页表并没有使用。
让我们继续回到init_hyp_mode
的正题上来,这个函数完成了PGD
页表的分配,完成了IDMAP代码段
的映射,完成了其他各种段的映射,完成了异常向量表的映射,等等。此外,再补充几点内容:
ARMv8异常向量表
- ARMv8架构的AArch64执行态中,每种EL都有16个entry,分为四类:
Synchronous,IRQ,FIQ,SError
。以系统启动时设置hypervisor的异常向量表__hyp_stub_vectors
为例:
- 当从不同的
Exception Level
触发异常时,根据执行状态,去选择对应的handler
处理,比如上图中只有el1_sync
有效,也就是在EL1
状态触发EL2
时跳转到该函数;
pushsection/popsection
- 在
init_hyp_mode
函数中,完成各种段的映射,段的定义放置在vmlinux.lds.S
中,比如hyp.idmap.text
:
- 可以通过
pushsection/popsection
来在目标文件中来添加一个段,并指定段的属性,比如"ax"代表可分配和可执行,这个在汇编代码中经常用到,比如hyp-init.S
中,会将代码都放置在hyp.idmap.text
中:
- 除了
pushsection/popsection
外,通过#define __hyp_text __section(.hyp.text) notrace __noscs
的形式也能将代码放置在指定的段中;
Hypervisor相关寄存器
- 讲几个关键的相关寄存器:
1)sctlr_el2(System Control Register)
:可以用于控制EL2的MMU和Cache相关操作;
2)ttbr0_el2(Translation Table Base Register 0)
:用于存放页表的基地址,上文中提到分配的hyp_pgd
就需要设置到该寄存器中;
3)vbar_el2(Vector Base Address Register)
:用于存放异常向量表的基地址;
我们需要先明确几点:
Hyp
模式下要执行的代码,需要先建立起映射;- 映射
IDMAP代码段
和其他代码段,明确这些段中都有哪些函数,这个可以通过pushsection/popsection
以及__hyp_text
宏可以看出来; - 最终的目标是需要建立好页表映射,并安装好异常向量表;
貌似内容比较零碎,最终的串联与谜题留在下一小节来解答。
2.1.2 init_subsystems
先看一下函数的调用流程:
VGIC
,timer
,以及电源管理相关模块在本文中暂且不深入分析了,本节主要关心cpu_hyp_reinit
的功能;- 绿色框中的函数,会陷入到
EL2
进行执行;
看图中有好几次异常向量表的设置,此外,还有页表基地址、栈页的获取与设置等,结合上一小节的各类映射,是不是已经有点迷糊了,下边这张图会将这些内容串联起来:
- 在整个异常向量表创建的过程中,涉及到三个向量表:
__hyp_stub_vectors
,__kvm_hyp_init
,__kvm_call_hyp
,这些代码都是汇编实现; - 在系统启动过程中(
arch/arm64/kernel/head.S
),调用到el2_setup
函数,在该函数中设置了一个临时的异常向量表,也就是先打一个桩,这个从名字也可以看出来,该异常向量表中仅实现了el2_sync
的handler
处理函数,可以应对两种异常:1)设置新的异常向量表;2)重置异常向量表,也就是设置回__hyp_stub_vectors
; - 在
kvm
初始化时,调用了__hyp_set_vectors
来设置新的异常向量表:__kvm_hyp_init
。这个向量表中只实现了__do_hyp_init
的处理函数,也就是只能用来对Hyp模式
进行初始化。上文提到过idmap段
,这个代码就放置在idmap段
,以前分析内存管理子系统时也提到过idmap
,为什么需要这个呢?idmap: identity map
,也就是物理地址和虚拟地址是一一映射的,防止MMU在使能前后代码不能执行; __kvm_call_hyp
函数,用于在Hyp模式
下执行指定的函数,在cpu_hyp_reinit
函数中调用了该函数,传递的参数包括了新的异常向量表地址,页表基地址,Hyp
的栈地址,per-CPU
偏移等,最终会调用__do_hyp_init
函数完成相应的设置。
到此,页表和异常向量表的设置算是完成了。
2.2 misc_register
misc_register
用于注册字符设备驱动,在kvm_init
函数中调用此函数完成注册,以便上层应用程序来使用kvm模块
:
- 字符设备的注册分为三级,分别代表
kvm
,vm
,vcpu
,上层最终使用底层的服务都是通过ioctl
函数来操作; kvm
:代表kvm内核模块,可以通过kvm_dev_ioctl
来管理kvm版本信息,以及vm的创建等;vm
:虚拟机实例,可以通过kvm_vm_ioctl
函数来创建vcpu
,设置内存区间,分配中断等;vcpu
:代表虚拟的CPU,可以通过kvm_vcpu_ioctl
来启动或暂停CPU的运行,设置vcpu的寄存器等;
以Qemu
的使用为例:
- 打开
/dev/kvm
设备文件; ioctl(xx, KVM_CREATE_VM, xx)
创建虚拟机对象;ioctl(xx, KVM_CREATE_VCPU, xx)
为虚拟机创建vcpu对象;ioctl(xx, KVM_RUN, xx)
让vcpu运行起来;
3. 总结
本文主要从两个方向来介绍了kvm_init
:
- 底层的体系结构相关的初始化,主要涉及的就是
EL2
的相关设置,比如各个段的映射,异常向量表的安装,页表基地址的设置等,当把这些准备工作做完后,才能在硬件上去支持虚拟化的服务请求; - 字符设备注册,设置好各类
ioctl
的函数,上层应用程序可以通过字符设备文件,来操作底层的kvm模块。这部分内容深入的分析,留到后续的文章再展开了;
实际在看代码过程中,一度为很多细节绞尽乳汁,对不起,是绞尽脑汁,每有会意,便欣然忘食,一文也无法覆盖所有内容,草率了。
欢迎关注个人公众号,不定期更新技术文章。
【原创】Linux虚拟化KVM-Qemu分析(三)之KVM源码(1)的更多相关文章
- Java 序列化和反序列化(三)Serializable 源码分析 - 2
目录 Java 序列化和反序列化(三)Serializable 源码分析 - 2 1. ObjectStreamField 1.1 数据结构 1.2 构造函数 2. ObjectStreamClass ...
- C#进阶系列——一步一步封装自己的HtmlHelper组件:BootstrapHelper(三:附源码)
前言:之前的两篇封装了一些基础的表单组件,这篇继续来封装几个基于bootstrap的其他组件.和上篇不同的是,这篇的有几个组件需要某些js文件的支持. 本文原创地址:http://www.cnblog ...
- linux的基本操作(RPM包或者安装源码包)
RPM包或者安装源码包 在windows下安装一个软件很轻松,只要双击.exe的文件,安装提示连续“下一步”即可,然而linux系统下安装一个软件似乎并不那么轻松了,因为我们不是在图形界面下.所以你要 ...
- BAT资深工程师 由浅入深分析 Tp5&Tp6底层源码 - 分享
BAT资深工程师由浅入深分析Tp5&Tp6底层源码 第1章 课程简介 本章主要让大家知道本套课程的主线, 导学内容,如何学习源码等,看完本章要让小伙伴觉得这个是必须要掌握的,并且对加薪有很大的 ...
- BAT资深工程师由浅入深分析Tp5&Tp6底层源码☆
第1章 课程简介 本章主要让大家知道本套课程的主线, 导学内容,如何学习源码等,看完本章要让小伙伴觉得这个是必须要掌握的,并且对加薪有很大的帮助. 第2章 [TP5灵魂]自动加载Loader 深度分析 ...
- [原创]linux简单之美(三)
原文链接:linux简单之美(三) 在linux简单之美(二)中我们尝试使用了C库的函数完成功能,那么能不能用syscall方式来搞呢?显然可以! section .data ft db sectio ...
- [spring源码学习]三、IOC源码——自定义配置文件读取
一.环境准备 在文件读取的时候,第9步我们发现spring会根据标签的namespace来选择读取方式,联想spring里提供的各种标签,比如<aop:xxx>等应该会有不同的读取和解析方 ...
- [转] jQuery源码分析-如何做jQuery源码分析
jQuery源码分析系列(持续更新) jQuery的源码有些晦涩难懂,本文分享一些我看源码的方法,每一个模块我基本按照这样的顺序去学习. 当我读到难度的书或者源码时,会和<如何阅读一本书> ...
- 【vuejs深入三】vue源码解析之二 htmlParse解析器的实现
写在前面 一个好的架构需要经过血与火的历练,一个好的工程师需要经过无数项目的摧残. 昨天博主分析了一下在vue中,最为基础核心的api,parse函数,它的作用是将vue的模板字符串转换成ast,从而 ...
- Linux简易APR内存池学习笔记(带源码和实例)
先给个内存池的实现代码,里面带有个应用小例子和画的流程图,方便了解运行原理,代码 GCC 编译可用.可以自己上网下APR源码,参考代码下载链接: http://pan.baidu.com/s/1hq6 ...
随机推荐
- 2020-06-22:已知两个非负数的异或值为M,两数之和为N,求这两个数?
福哥答案2020-06-22: 1.遍历法时间复杂度:O(N)最好空间复杂度:O(1)平均空间复杂度:O(sqrt(N))最坏空间复杂度:O(N)[0,N/2]依次遍历,符合条件的就是需要的结果. 2 ...
- MySQL设置传输包大小
MySQL执行插入或更新时, 当数据量过大时, 可能由于"max_allowed_packet"参数的限制导致执行失败.此时, 可以重新设置该参数的值. "max_all ...
- Android studio 在项目里配置签名 + cmd命令安装apk在测试机
一.在项目里配置签名 搜索百度里有很多可视化操作在项目里配置签名,但是对于已经有签名的旧项目来说,用语句是最方便的. 方法: 第一步:把签名文件放到项目中,和build.gradle的同一级目录下.当 ...
- IP-master
http://www.igotaobao.cn/IP-master/
- mongodb在win10下的安装和配置
一.准备 下载mongodb https://www.mongodb.com/download-center/community 该实例中使用的是:mongodb-win32-x86_64-2008p ...
- linux 查找删除
find -name "*.php" -exec rm -f '{}' \;
- centos7 nginx yum 配置
[nginx] name=nginx repo baseurl=http://nginx.org/packages/centos/7/$basearch/ gpgcheck= enabled=
- centos iso镜像自动挂载
vim /etc/fstab 添加如下行:/usr/ison/centos.iso /media/cdrom iso9660 defaults,loop 0 0
- Mybatis—curd
Mybatis简介: MyBatis 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code,并且改名为 ...
- poi解析Excel内容
poi可以将指定目录下的Excel中的内容解析.读取到java程序中.下面是一个Demo: 使用poi需要导下包,如下: 首先是准备读取的Excel表,存放在"E:\programming\ ...