记一次ARM服务器(鲲鹏920)的PXE批量装机遇到的坑

由于近期项目需要，在对一批华为鲲鹏920的ARM服务器（型号为天宫TG225 B1）进行批量装机的过程中，遇到了各种各样千奇百怪的bug（换个高情商的说法就是遇到了各种各样和x86服务器不一样的地方），遂记录本文，以供后续可能遇到问题时参考。

在阅读本文前，建议先阅读两篇前序文章《如何在20分钟内批量部署20台ESXi服务器》以及《使用PXE+NFS EFI引导安装RHEL6/7以及Kickstart安装》，有助于理解本文中提到的各种问题。（该两篇文章均可以在本平台上搜到）

本次实施中使用的服务器为天宫TG225 B1型号，CPU使用的是2颗基于ARM的华为鲲鹏920 32核双路型号，硬盘使用的是8块960G SSD，RAID卡使用的是Adeptec 3152-8i。实施的具体工作是需要批量将几十台该型号服务器批量配置为RAID5，并批量安装上麒麟V10的操作系统。实施思路为，首先使用虚拟机搭建pxe dhcp server环境，使服务器用pxe引导clonezilla通过脚本的方式进行RAID配置，然后使用pxe引导麒麟OS手动安装第一台服务器，使用该机器安装后自动生成的kickstart脚本进行后续服务器的自动部署麒麟操作系统。由于麒麟V10目前的版本是基于centos8，所以可以类比上述两篇文章中提到的批量部署RHEL的经验。下面就针对本次实施中遇到的问题逐一进行分析。

一、关于PXE获取到IP之后无ACK，无法获取引导文件。

目前ARM服务器基本都是使用UEFI的方式进行引导，我们只需要关注EFI方式引导即可，Legacy引导已经随着时代的发展被扫进历史的垃圾桶。

正常情况下通过DHCP引导的PXE安装， DHCPdiscover -> DHCPoffer -> DHCPRequest -> DHCPACK，但是很奇怪的是在我们这个型号的服务器上始终没有发现有DHCP ACK的记录，这就意味着服务器无法获取到EFI引导文件。原来以为是我的dhcpd.conf配置写的不对，仔细核对了一翻发现没有问题，也在虚拟机测试了一下能正常引导。经过一翻搜索，发现原来是鲲鹏920的ARM服务器，在dhcpd的vendor-class-identifier 参数定义有特殊的字符串，下面给出本次实施中使用的dhcpd.conf的部分配置文件。

subnet 192.168.3.0 netmask 255.255.255.0
{
    range 192.168.3.10 192.168.3.239;
    option routers 192.168.3.3;
    next-server 192.168.3.3;

    class "HW-client" {
        match if substring
            (option vendor-class-identifier, 0, 9) =
            "HW-Client";
        if option architecture-type = 00:0b {
                # Huawei Kunpeng 920 ARM64 aarch64 EFI BIOS
                filename "images/BOOTAA64.EFI";
            }
    }

    class "pxeclients" {
        match if substring
            (option vendor-class-identifier, 0, 9) =
            "PXEClient";
        if option architecture-type = 00:07 or
            option architecture-type = 00:09 {
                # x86-64 EFI BIOS
                filename "images/shim.efi";
                # filename "images/BOOTX64.efi";
            } else if option architecture-type = 00:0b {
                # ARM64 aarch64 EFI BIOS
                filename "images/BOOTAA64.EFI";
            } else {
                # Legacy non-EFI BIOS
                filename "pxelinux.0";
            }
    }
}

为了兼顾多种平台的pxe引导需要，我们一般使用dhcpd.conf 中的class类功能进行不同cpu平台的区分，x86平台基本上默认vendor-class-identifier 标识符都是 PXEClient 这个字符串，而ARM的生态目前还远不如x86这样高度统一，这就造成了不同的厂商可能会对各自生产的平台进行自定义，对于鲲鹏920的平台，需要将 vendor-class-identifier 设为 HW-Client，见上面配置文件的标红部分，注意该标识符大小写必须完全一致。在修改了vendor-class-identifier之后，终于能正常获取efi引导文件。

从UEFI的规范文件中我们看到，arm平台和x86平台的efi引导文件是不一样的，如下图。

所以本次的实施中，我们需要从麒麟aarch64的安装ISO中，提取名为BOOTAA64.EFI以及grubaa64.efi，以引导至grub efi的bootloader界面进一步进行安装程序的后续引导。需要注意的是x86平台和arm64平台的efi文件都是不通用的。

二、关于clonezilla的arm64版本。

clonezilla目前的官方正式发布的版本里面，只有x86-64的iso，经过一番寻找，在官网找到了experimental 的实验性质的arm64的版本iso，下载地址为 http://free.nchc.org.tw/clonezilla-live/experimental/arm/20200414-focal/ ，这个是基于ubuntu 20.04 arm64的版本。实测可以正常用于引导本次实施中使用的鲲鹏920的TG225 B1服务器。

至于为什么要选择clonezilla用来自动配RAID，前序文章有提到，这里再写一下。其一是clonezilla的iso较小(约300M)引导较快；其二是它支持通过grub的引导参数来传递自定义参数，且支持的参数语法非常的灵活，诸如运行自定义脚本、挂载nfs此类都不在话下，如此一来引导之后调用raid卡的管理工具进行自动配raid的操作就不足为奇了。

 

三、关于Adaptec的RAID卡的配置工具。

前序文章中我们在上一次实施x86的批量装机，大多配的是LSI/BCM/AVAGO的RAID卡，使用storcli的命令行工具可以方便的进行RAID配置。Adaptec的RAID卡也有自家的命令行管理工具叫arcconf ，使用方法跟前序文章中提到的 storcli 基本只有参数语法的差别。下面分享一下本次实施中使用的arcconf的命令。

arcconf DELETE 1 ARRAY ALL noprompt
arcconf create 1 logicaldrive max 5 0 8 0 9 0 10 0 11 0 12 0 13 0 14 0 15 noprompt

大致解释一下这个参数的意思，delete 1是指对raid controller 1进行删除操作，删除对象是 array all 即所有raid组，noprompt是不提示直接删除。第二行的create 1 是指对raid controller 1 logicaldrive进行创建逻辑盘即raid组，max是指使用raid组的最大空间，5是指raid5，后面的0 8一直到0 15是指将哪些盘加入raid组中，这个盘号可以使用 arcconf list 1来获取。

四、关于麒麟V10进行pxe引导的一系列诡异问题及bug。

menuentry 'Install Kylin V10 @ ARM64 UEFI Manually' --class red --class gnu-linux --class gnu --class os {
    linux /images/kylin/vmlinuz ip=dhcp inst.repo=http://192.168.3.3/kylin console=tty0 video=VGA-1:640x480-32@60me
    # linux /images/kylin/vmlinuz rd.debug ip=dhcp inst.repo=nfs:192.168.3.3:/mnt/kylin/ console=tty0 video=VGA-1:640x480-32@60me
    initrd /images/kylin/initrd.img
}

menuentry 'Install Kylin V10 @ ARM64 UEFI Kickstart' --class red --class gnu-linuxefi --class gnu --class os {
    linux /images/kylin/vmlinuz ip=dhcp inst.ks=http://192.168.3.3/ks.cfg console=tty0 video=VGA-1:640x480-32@60me
    initrd /images/kylin/initrd.img
}

上面是我们在本次实施中最终成功引导的grub引导参数，供参考。

arm64的grub的内核和initrd行的关键字跟x86不一样，x86的efi方式引导的内核和initrd行的关键字分别是 linuxefi 和 initrdefi，不知道为何到了arm64中，又改回跟legacy模式引导一样 linux 和 initrd 了，实测如果跟x86平台一样在上述关键字后面加上efi的后缀，无法正常引导。

在正常获取了内核和initrd之后，就应该引导到安装界面了。但是在参考了kylinV10的安装光盘的grub配置文件，原来是没有 console=tty0 这个参数的。实测中发现如果不加这个参数，则会导致加载完内核和initrd之后一直就卡在光标闪烁的界面不动了无法进到安装界面，加了console的参数才正常。这个问题非常的诡异，使用光盘iso安装就不需要，而使用pxe就需要，怎么也说不过去。

在前序文章中，我们使用nfs方式来挂载rhel7的安装iso进行pxe安装。然而在本次的实施中，使用nfs挂载kylinV10的介质始终无法引导到安装界面，更为神奇的是在我们的dhcp server的虚拟机的日志中是能很明显的看到nfs的成功挂载安装介质目录的动作的。后续无奈只能使用http方式，这样便可以顺利引导到安装界面了。猜测可能是kylinV10的bug，在不指定版本的情况下默认应该是挂载的NFSv4，也可能是只支持v3吧。

在踩了上面3个坑之后，终于看到了久违的安装界面，但是问题又来了。在安装界面无法正常获取到安装介质的repo，这就直接导致了无法选择需要安装的包无法继续安装。后面在麒麟厂商技术支持的指导下，我们发现原来是到了这个安装界面之后，网卡没能正常获取到ip地址，这个肯定是kylinV10的bug了。要解决这个问题，在图形安装界面的网卡配置那里，把网卡关一下再开一下，正确获取到IP之后，安装源就能正常获取到了。然后我们就对第一台服务器通过手动的方式完成了安装，安装完成重启进系统之后，在/root目录下面，它生成了kickstart的cfg文件，可以用于后续其它机器的批量自动安装OS。

但是这里又出现了另外一个问题，如果到安装界面后不能正确dhcp获取到IP，那就意味着后面使用kickstart的批量安装时同样会由于无法获取到IP而造成自动安装失败。为了解决这个问题，厂商建议是使用新版的install.img来进行安装，由于我们的http的安装介质是直接用厂商提供的iso挂载的，如果要替换这个文件，还得把iso解压出来，费时费力。经过分析，由于是第一次获取不到IP，那么我们在kickstart的文件里面，在安装开始前手动跑一下dhclient 获取一下IP，最终发现这个方法是可行的。操作起来很简单，编辑ks的cfg文件，在文件最开始，加入如下三行即可。

%pre
/sbin/dhclient
%end

最后的最后，我们还发现，手动安装的kylinV10自动生成的kickstart文件，在分区的部分会生成一些带有小数大小的分区或LV，而安装程序在解析kickstart文件时，遇到带有小数时直接就报错无法继续安装。解决办法也很简单，直接编辑kickstart文件，在分区/LV配置部分，把小数点及后面的小数直接删掉。在这个地方也能出现这样明显的bug是我万万没想到的。