Huawei-2488H-V5服务器基础配置与系统安装

0x00 前言简述

描述: 由于最近公司来了一批华为的服务器以及存储，来的时候真的感到非常意外因为从中标到接货超过了1个半月,其间还因为各种事进行推延；在现场实施人员完成服务器上架以及测试后，由于业务的需求需要将其中的两台安装VMware ESXI将另外几台服务器安装修改后的CentOS7服务器系统，为后面kubernetes集群搭建做准备;

机器基础配置一览:

厂商: Huawei

机器型号: 2488H V5

产品结构: 2U

CPU: Intel Xeon Gold 6130 (十六核心/三十二线程)

CPU Type: Skylake

内存: 512G

磁盘: 600G X 2

BIOS 平台: Purley

阵列卡: MSCC SmartRAID 3152-8i 控制卡

HBA卡

iBMC:5.06

iBMC IP: 192.168.2.100

官方产品地址: FusionServer Pro智能服务器 > 机架服务器 > 产品型号: 2488H V5

BIOS平台与CPU型号对照表:

WeiyiGeek.BIOS-CPU

0x01 硬件基础介绍

1.阵列卡 MSCC SmartRAID 3152-8i

描述:MSCC SmartRAID 3152-8i控制卡（以下简称3152-8i）提供2个12Gbit/s的mini SAS HD接口，支持PCIe 3.0接口，并支持最多8个phy。它用于提高系统性能，并提供数据容错存储功能，支持数据的多硬盘分片存储，支持多硬盘同时读/写访问，有效降低硬盘数据访问延时。

Q: 什么是phy? 答: 全称为Physical Layer物理层的芯片,一般PHY芯片为模数混合电路，负责接收电、光这类模拟信号，经过解调和A/D转换后通过MII接口将信号交给MAC芯片(纯数字电路)进行处理。物理层定义了数据传送与接收所需要的电与光信号、线路状态、时钟基准、数据编码和电路等，并向数据链路层设备提供标准接口。

MSCC SmartRAID 3152-8i控制卡自带的Cache对标卡性能的提升有非常重要的作用，主要体现在：

在写数据时，直接写入Cache，当写入的数据积累到一定程度，RAID卡才将数据刷新到硬盘，这样不但实现了批量写入，而且Cache作为快速读写设备，其本身的读写速度都远高于硬盘，因此采用 Cache后，整个设备的写数据速度得到提高。
在读数据时，如果可以直接在Cache中命中的话，将减少磁盘寻道操作，降低响应时间，提升了数据读速度。

3152-8i安装在服务器的PCIe槽位上，结构如图所示。

WeiyiGeek.

3152-8i 基本参数(我选择有卖点的特性参数)

接口速率 (Gbit/s) ：12

支持的RAID组数量 ：64

单个RAID组支持的最大硬盘数 : 128

所有RAID组包含的最大硬盘数量: 238

硬盘直通模式支持的硬盘数量：238

支持的最大硬盘数：238

支持的热备盘个数：32（每个Array最多支持4个热备盘）

MaxCache支持的SSD最大个数：128

MaxCache最大容量：6.8TB

MaxCache是否支持热备：否

MaxCache支持的RAID级别: 0/1/10/5

支持的RAID级别：RAID 0/1/1ADM/10/10ADM/5/50/6/60

是否支持设置条带单元: 是（可设为16KiB/32KiB/64KiB/128KiB/256KiB/512KiB/1024KiB）

是否支持RAID级别在线迁移：是

是否支持在线扩容：是

是否支持硬盘直通: 是

是否支持SSD IO Bypass:是

是否支持4K盘：是

#备注1：MaxCache即SSD Cache，Microsemi将该功能定义为“MaxCache”。

3152-8i 基本功能

支持多种RAID级别：3152-8i最多支持238个硬盘，最多支持64个Array，每个Array最多支持64个LD（Logical Driver），整张RAID卡所有Array最多支持64个LD。

WeiyiGeek.RAID级别

支持多种工作模式
- RAID模式：控制器下的逻辑盘会上报OS，但直通盘不会报送给OS。
- HBA模式：控制器的所有RAID功能都被禁用，控制器下所有硬盘都被视为直通盘。
- Mixed模式：RAID逻辑盘和直通盘都会报送给OS。
硬盘热备份
硬盘热插拔：请确认拔掉硬盘与插上硬盘的时间间隔在30s以上，以避免造成硬盘无法被识别。
重建
硬盘分条
硬盘直通: 又称指令透传，是不经过传输设备处理，仅保证传输质量的一种数据传输方式。在不配置虚拟磁盘的情况下，用户指令可以直接透传到硬盘，方便上层业务软件或管理软件访问控制硬盘
- 例如，服务器操作系统安装过程中，可以直接找到挂载在3152-8i下的硬盘作为安装盘；而不支持硬盘直通的RAID卡，在操作系统安装过程中，只能找到该RAID卡下已经配置好的虚拟磁盘作为安装盘。
擦除硬盘数据：支持“Erase Disk”即安全擦除指定硬盘；数据擦除过程中，不能执行关机，重启，插拔硬盘等操作，否则会导致硬盘被损坏。
容量扩展
读写高速缓存
数据掉电保护
硬盘指示灯
- 硬盘Fault指示灯(故障-黄色)：灭：表示硬盘运行正常；黄色闪烁：表示硬盘处于被定位状态或RAID重构状态；黄色常亮：表示硬盘故障或RAID组中的成员盘状态异常。
- 硬盘Active指示灯(正常-绿色): 灭：表示硬盘不在位或硬盘故障; 绿色闪烁：表示硬盘处于读写状态或同步状态; 绿色常亮：表示硬盘处于非活动状态。
外部配置导入：当包含RAID配置信息的硬盘插入服务器后，服务器在启动过程中识别到当前硬盘配置符合该外部配置要求时，自动导入外部配置。

Q: 什么是Array? 答:Array即通常所说的硬盘组，每个Array可以包括1个或多个LD。

参考地址:https://support.huawei.com/enterprise/zh/doc/EDOC1100048779/b1eeb02e

0x02 操作系统安装

0.华为设备缺省信息

默认的账号及其密码，采用其可以登陆修改BIOS以及进入iBMC界面

# V1调试密码：[email protected]

# V1/V2/V3/V5存储，IP:192.168.128.101/102(A/B)

用户名/密码：admin/[email protected](默认）

用户名/密码：admin/Huawei12#$

# V2/V3服务器 IP:192.168.2.100 iBMC 控制台 (账号密码)

用户名/密码：root/Huawei12#$

#V5服务器 IP:192.168.2.100 iBMC 控制台 (账号密码)

用户名/密码：Administrator/[email protected]

参考链接: https://support.huawei.com/enterprise/zh/doc/DOC1000040218?idPath=7919749|9856522|21782478|21782482|21497444

1.准备工作

描述: 下面描述都以2488H V5服务器为例进行讲述,系统开机功能界面选择:

# iBMC

- 版本

- 管理地址

# 功能参数

Del -- 服务器BIOS

F11 -- 启动项选择

F12 -- 网络启动

F3 -- 启动项选择(远程键盘) #通过网页访问或者KVM的时候使用、

F4 -- 服务器BIOS(远程键盘)

F6 -- SP Boot(Smart Provisioning)  #系统安装

WeiyiGeek.

服务器系统安装流程如下:

WeiyiGeek.

1.1 BIOS默认设置： 华为服务器在出厂时已设置为最优的配置，我们强烈推荐您使用默认的BIOS设置，如果修改请在服务器BIOS POST过程中按下Delete键，进入BIOS SETUP菜单，按下F9加载默认配置。

例如，下表是使用VMware系统时的BIOS推荐设置；

BIOS选项	推荐值
Hyper-Threading[ALL]	Enabled
Monitor/Mwait[1]	Enabled
VMX	Enabled
PCIe SR-IOV	Enabled
Intel VT for Direct I/O(VT-d)	Enabled
Interrupt Remapping	Enabled
PCI 64-Bit Resource Allocation	Enabled
Hardware Prefetcher	Enabled
Adjacent Cache Prefetch	Enabled
DCU Stramer Prefetcher	Enabled
DCU IP Prefetcher	Enabled
注1：Monitor/Mwait选项值对EVC兼容性的影响参见关于Monitor/Mwait和EVC兼容性。

在部署系统前，请确认服务器BIOS、BMC等都已经更新到最新版本。

Huawei服务器2488H V5补丁版本: https://support.huawei.com/enterprise/zh/intelligent-servers/2488h-v5-pid-22350433/software
Huawei服务器系统兼容检测：https://support-it.huawei.com/ftca/zh/product/rack-server
Huawei服务器系统系统安装：https://support.huawei.com/enterprise/zh/doc/EDOC1000040218/512b2e65

1.2 系统时间设置 描述:如果系统时间不正确就需要进行调整，此时您需要在BOIS中进行设置系统时间 ; BIOS Setup Utility -> 在菜单栏中，选择“Main”页签 -> 选择“System Time” -> 选择“System Date”

1.3 启动顺序调整 在菜单栏中，选择“Boot > Boot Sequence”，按“Enter” -> 进入“Boot Sequence”界面按照最下面的操作提示进行;

2.创建Riad阵列磁盘

描述:在BIOS中“Boot Type”设置为“UEFI Boot”模式时，打开的管理界面如下所述。我们在EFI/UEFI模式下我们进行raid的初始化配置;

Step 1.登录管理界面BIOS版本为V363及以下, 启动服务器过程中在显示IMBC IP地址界面按“F11”，弹出密码输入框（输入默认的BIOS密码[email protected]）。

WeiyiGeek.

Step 2.Front Page界面 -> 选择“Device Manager”并按“Enter” -> 选择要操作的MSCC SmartRAID 3152-8i控制器，按“Enter”进入如图所示界面

WeiyiGeek.

Step 3.设置RAID卡工作模式”Configure Controller Settings>Modify Controller Settings“的顺序进入“Modify Controller Settings”界面, 选择“Port CN0 Mode”并按“Enter”, 最后再选择“Port CN0 Mode”并按“Enter”。

#3152-8iRAID卡支持三种工作模式，分别为：

RAID：控制器所有的RAID功能都被启用，但直通盘不会报送给OS。

Mixed：RAID逻辑盘和直通盘都会报送给OS。

HBA：控制器所有的RAID功能都被禁用，控制器下所有硬盘均被视为直通盘。

WeiyiGeek.

Step 4.在MSCC SmartRAID 3152-8i控制器主界面中，进入“Array Configuration”界面 -> 选择Create Array 进入成员盘选择界面 -> 选中硬盘后，按“Enter”键，将硬盘加入Array。;

# 硬盘状态为“Enabled”时表示硬盘被选中。

# RAID 1支持的硬盘个数为2。

Step 5.选择“Proceed to next Form”并按“Enter”进入RAID级别选择界面 -> 选择要配置的Array级别“RAID1“ -> 最后选择“Submit Changes”并按“Enter” -> 提示创建成功按“Enter”返回主界面。

参数	说明
Logical Drive Label	LD的自定义标签。
Strip Size/Full Stripe Size	Strip Size：单个物理盘的条带大小，可设置为16KiB/32KiB/64KiB/128KiB/256KiB/512KiB/1024KiB，默认值为256KiB。Full Stripe Size：整个LD的分条大小。当设定Strip Size后，系统会自动计算出Full Stripe Size。
Size	整个LD的容量大小。
Unit size	LD的容量计算单位。
SSD Over Provisioning optimization	设置在创建由SSD组成的RAID组时，是否启用SSD Over Provisioning。 DisabledEnabled 说明：只有当RAID组由SSD组成时，才能设置该属性。
Acceleration method	设置LD所采用的加速方法。 SSD I/O Bypass（只有当LD由SSD组成时，该选项有效）Controller cache（同时使用读Cache和写Cache）None（禁用加速，表示既不使用SSD I/O Bypass，也不使用Controller Cache，即无任何加速。）
Submit Changes	确认修改。

WeiyiGeek.

Step 6.检查配置结果按照“Array Configuration > Manage Arrays”的顺序进入刚才创建的Array A组中；

参数	说明
Array Type	Array的类型。
List Logical Drives	逻辑盘相关的接口，可查看、修改逻辑盘的属性，删除逻辑盘等。
Create Logical Drive	创建逻辑盘。
IO Bypass Settings	设置SSD在不使用Controller Cache时的逻辑盘加速方法。说明：该特性即为读写高速缓存所述的“SSD I/O Bypass”。SSD组成的RAID组在使能Controller cache的情况下无法使能IO Bypass功能。如需使能IO Bypass，需要先禁用RAID组的Controller Cache，再使能IO Bypass。
Manage Spare Drives	热备盘相关的接口，可创建，删除热备盘等。
Identify Device	点亮/熄灭硬盘locate灯。
Delete Array	删除Array。

然后选择“List Logical Drive”并按“Enter”查看LD的相关属性 -> 之后在选择“Logical Drive Details”并按“Enter”

WeiyiGeek.List Logical Drive

Step 7.至此RAID 1 磁盘阵列完成设置;

注意事项:

1) 配置多个RAID组或包含多个VD的RAID组后，必须配置启动项，否则可能会导致操作系统安装异常
2) 安装好服务器系统可以采用ARCCONF工具进行即可执行RAID卡管理查看等相关命令;

3.系统安装

描述: Huawei服务器有两种安装方式：

直接安装方式: 方便简洁，但是由于没有镜像兼容性检测，可能导致系统安装后缺少驱动导致服务器或FC存储设备不能被识别;
Smart Provisioning方式安装:它一个操作系统的安装引导工具，简化了工程师在本地安装操作系统和驱动的过程。此方式要求iBMC 2.64以上版本以及BIOS 0.37以上版本。具体支持的服务器请使用智能计算产品兼容性查询助手进行查询。您可以使用Smart Provisioning集成在主板的方式引导安装系统，也可以使用挂载Smart Provisioning镜像的方式引导安装系统。# 注意事项使用Smart Provisioning安装操作系统时，需要格式化待安装操作系统的硬盘，请在安装操作系统前备份硬盘数据。在Legacy模式下安装操作系统时，请使用容量在2TB以下的硬盘。

(1) 直挂载镜像方式安装流程: Step 1.利用网页或者KVM登录服务器iBMC平台进行管理(将连接的机器配置同一网段下的IP即可)

WeiyiGeek.

Step 2.将ISO镜像进行挂载连接，然后重启服务器后在功能选择界面选择F11

WeiyiGeek.

Step 3.输入缺省密码后选择启动项然后加载镜像并进行进行安装;

WeiyiGeek.

(2)Smart Provisioning 方式安装流程: Step 1.同样是先通过KVM或者ibmc网页端把进行连接，然后重新服务器在功能选择界面选择F6进入SP BOOT(此处需要输入密码)，根据系统的配置此处可能等待时间较久；

WeiyiGeek.SP BOOT

Step 2.进入 Smart Provisioning 之后，点击 Start 出现以下界面，然后再次点击安装操作系统即可；

WeiyiGeek.

Step 3.选择安装的镜像，此处我们进行自定义即可，然后选择安装系统的版本，此处建议安装的是7.6，由于Smart Provisioning 现在默认最高支持CentOS7.6, 但是经过测试发现安装 7.8 也没问题只是在最后的安装结束前会报错，但是机器重启后可以正常的进入到系统之中;

WeiyiGeek.CentOS7.6

Step 4.安装磁盘选择与确认操作

WeiyiGeek.

Step 5.挂载镜像后点击进行下一步，此时系统会自动安装系统到磁盘并将硬件驱动也一并安装;

WeiyiGeek.

Step 6.系统安装完毕后将会重启服务器(不得不说华为的服务器启动真的是…此时略5-6分钟)，加载安装的UEFI模式的操作系统

WeiyiGeek.

Step 7.进入CentOS 7.6系统初始化安装配置界面(此处不再多说与描述)

WeiyiGeek.

Step 8.安装完成后进行系统，可以在root家目录中查看通过Smart Provisioning安装后所留的硬件设备以及存储FC SAN的驱动等

WeiyiGeek.

0x03 华为服务器ESXI安装实践

描述: 请按照上述流程进入Smart Provisioning界面之中，然后选择开始进行按照下面操作部署EXSI；

1.基础安装

Step1.EXSI安装版本的选择此处最高可选择 ESXI 6.7 版本的镜像进行安装

WeiyiGeek.1

Step2.选择我们将要安装的磁盘，本来服务器中有两块盘由于做了Raid1所以空间只有大约600G，选择下面的磁盘进行安装

WeiyiGeek.2

Step3.挂载镜像后点击下一步进行ESXI系统的安装;

WeiyiGeek.3

Step4.加载镜像到内存后将会自动重启服务器，进入到ESXI安装界面之中;

WeiyiGeek.4

2.后续配置

FW和驱动配套检查

描述：有些板卡的驱动和FW是存在配套关系，系统安装完以后，我们建议您进行驱动和FW的配套检查，方法如下： (1) 运行idriver驱动包中的install.sh脚本。

sh install.sh

(2) 选择“2: To check the current module information and driver version”。

执行以后，FW和驱动的检查结果如下图。其中：

“CurrentDriverVer”：代表系统中当前使用的驱动版本

“NewDriverVersion”：代表系统推荐使用的驱动版本

“CurrentFirmwareVer”：代表当前的FW版本

“NewFirmwareVersion”：代表推荐使用的FW版本

(3) 执行以后，如果发现“CurrentFirmwareVer”不等于“NewFirmwareVersion”，或者“CurrentDriverVer”不等于“NewDriverVersion”需要对FW和驱动进行更新

系统优化配置

电源优化

描述:Power Management Policy设置为了在esxi系统下实现最佳的性能和稳定性。要实现Power Management Policy设置功能，您必须在华为服务器BIOS中将“Hardware P-States”选项设置为“Native Mode”。

配置流程:

主机 -> Manager(管理) -> Hardware(硬件) -> Power Management Policy -> Change policy -> 设置为 High performance

CPU 优化 描述:在系统下关闭C state，关闭CPU的C state可以获得更好的性能，在esxi系统下禁用C state的方法如下。进入Manage界面，选择Power.CstateMaxLatency, 然后设置为0。

WeiyiGeek.C state

描述:Monitor/Mwait和EVC兼容性建议您检查集群中服务器是否都是同一代CPU架构，如果集群中服务器都是同一代CPU架构，在这种情况下EVC特性是不起作用的，建议您关闭集群的EVC特性，对使用上没有任何影响。如果您的集群中存在不同代CPU架构的服务器，并且要启用集群的EVC特性，您必须在华为服务器BIOS中将MONITOR/MWAIT特性设置为Enabled。

设置流程:BIOS untility -> MONITOR/MWAIT -> Enabled;

参照地址:华为V5服务器 VMware 系统使用最佳实践

0x04 F&Q

1.iBMC 管理地址设置

描述: 登录iBMC平台后选择配置 -> 网络配置 -> IPV4进行设置(ip/子网/默认网关) ,配置完成后原管理地址立即失效，请访问新的管理地址;

WeiyiGeek.iBMC 管理地址

2.服务器安装系统启动模式的选择

描述:启动模式的修改根据需要在“Boot”页签中选择“Boot Type”为“UEFI Boot”或“Legacy Boot”;

当服务器配置了较多的可启动设备时，在Legacy模式下可能出现部分设备无法正常启动，建议使用UEFI模式启动，UEFI模式较Legacy模式可以支持更多可启动设备；如需要使用Legacy模式，建议根据实际业务场景禁用串口重定向或网卡PXE等，确保操作系统可以正常启动，具体操作请参考各平台BIOS参数参考的“设置网卡的PXE”和“设置串口重定向”章节。

注意事项:

# 1.两种模式下引导显示异同

- 在Legacy模式下:

当服务器配置了支持从Legacy启动的RAID卡或物理硬盘时，Hard Disk Drive列表显示具体的RAID卡或者物理硬盘信息，可以通过调整其顺序来调整启动设备。

- 在UEFI模式下：

当服务器硬盘未安装OS时，Hard Disk Drive列表下不存在启动项，此时OS安装过程中选择用来安装OS的硬盘即为启动盘。

当服务器硬盘已安装OS时，Hard Disk Drive列表将显示具体的OS版本，可以通过调整OS顺序来调整启动设备。

# 2.两种模式下切换注意

如果服务器已经在Legacy或者UEFI模式下安装OS，切换启动方式后将无法进入操作系统，需要切换为安装时的启动方式再进入，如操作系统需要重装，请根据实际情况选择是UEFI 或Legacy 模式安装OS。

# 3.两种模式下硬盘容量的关联

如果待安装的硬盘或RAID组容量大于2TB，需要将启动模式设置为UEFI Boot，新机器还是推荐使用该启动模式，除非额外的硬件不允许的条件下选择Legacy启动;

如果服务器安装了NVMe硬盘，并在该硬盘上安装OS，只能将启动模式设置为UEFI Boot。