[工作积累点滴整理]虚拟化、云计算配置规划<一>

目　录
1. 服务器虚拟化的相关配置建议 1
1.1. 服务器的基本配置建议 1
1.1.1. CPU配置 1
1.1.2. 服务器内存配置 2
1.1.3. 物理网卡配置 2
1.1.4. 服务器磁盘配置 2
1.1.5. vSAN服务器磁盘配置 3
1.1.6. 服务器配置参考 3
1.2. 集群配置规划 4
1.2.1. 管理类集群 4
1.2.2. 业务类集群 4
1.2.3. 边界类集群 5
1.2.4. vSAN集群 5
1.3. 存储配置规划 5
1.4. 机柜配置规划 5
1.4.1. 高密度机柜 6
1.4.2. 低密度机柜 7
1.5. 机房配置规划 8
1.6. 虚拟机配置规划 9

1. 服务器虚拟化的相关配置建议
此处所阐述的配置建议为最佳配置建议，旨在帮助我们优化架构，提升系统的稳定性和可扩展性，非强制要求。
1.1. 服务器的基本配置建议
服务器虚拟化配置主要包括了服务器CPU、内存、网卡（网口）数量、HBA卡、服务器的磁盘配置等； 如果要部署vSAN，对于磁盘规划和配置尤为重要。
服务器的配置还包括单一物理机的整体虚拟化比例（即单一物理服务器上能够运行的虚拟机数量），取决于单一物理服务器上的CPU和内存资源，为了提高整合比，建议为单一物理服务器配置更多的CPU和内存资源，以实现更少的服务器运行更多的应用虚拟机。
1.1.1. CPU配置
服务器CPU的资源取决于服务器CPU的总核数和CPU的主频 。内存资源取决总体物理内存空间。
目前服务器多为NUMA架构，在NUMA架构下更要考虑单一虚拟机的性能。

• 非一致存储访问结构(NUMA：Non-Uniform Memory Access)：
• 特征是每个CPU模块由多个CPU(如4个)组成，CPU具有独立的本地内存、I/O槽口等。节点之间通过互联模块(称为Crossbar Switch)进行连接和信息交互，每个CPU可以访问整个系统的内存(这是NUMA系统与MPP系统的重要差别)。
• 利用NUMA技术，可以较好地解决原来SMP系统的扩展问题，在一个物理服务器内可以支持上百个CPU和核
• 访问本地内存的速度将远远高于访问远地内存(系统内其它节点的内存)的速度。因此为了更好地发挥系统性能，系统和应用程序需要尽量减少不同CPU模块之间的信息交互。比较典型的NUMA服务器包括HP的Superdome、SUN15K、IBMp690等，现在的X86服务器也多为NUMA架构。

单一虚拟机计算性能与CPU数量的增加不成正比，即不是简单增加CPU数量就能明显增加计算能力，特别是在分配的CPU和内存资源超越单一NUMA节点时，反而会出现性能下降的情况。特别是对于JAVA应用来讲，JVM对于NUMA的支持更不好。因此，如果要求虚拟机的计算资源较高，在硬件采购时可以考虑采购物理CPU的核数更多一点、CPU的主频更高一点。

1.1.2. 服务器内存配置
虚拟化环境中，服务器资源的消耗主要体现在内存的消耗，CPU资源消耗较少。在不设置虚拟机资源保留值时，每启动一个虚拟机，消耗255M物理内存，CPU按内核和时间片分配。建议每一个CPU的内核，配置6GB以上的内存；如1台物理服务器配置4CPU，12核/每CPU的，建议内存配置是4 x 12 x 6GB = 288GB内存以上。
1.1.3. 物理网卡配置
在虚拟化平台中，为了实现管理、迁移、生产等的网络流量分离和网卡硬件冗余，一般建议配置多网卡、多个网口，同理在实现冗余的时候，上连交换机也要考虑冗余。
原有网络为千兆网络，建议为该网络中的物理服务器配置2个以上的物理网卡，6-8个千兆网口；网络支持万兆网络，除了配置4个千兆物理网口（2块物理网卡）, 建议配置2块万兆网（4个万兆网口）。
1.1.4. 服务器磁盘配置
服务器的内置磁盘主要用于安装虚拟化管理软件，虚拟化管理软件vSphere总体在200M以内，在考虑到冗余的情况下，服务器内置磁盘配置2块300G或600G的磁盘，在服务器内部做RAID1，用于安装服务器虚拟化软件vSphere。
如果服务器支持USB Key 启动，也可以考虑在服务器出厂时，在USB Key中预装虚拟化软件，这种情况下，服务器可以不配置内置盘。

1.1.5. vSAN服务器磁盘配置
vSAN的部署需要更多的服务器内置磁盘，建议使用2C服务器，该服务器除了系统磁盘外，一般还有24个磁盘插槽。vSAN是使用服务器的内置SSD硬盘做为缓存层，HDD硬盘做为容量层。建议使用4块SSD硬盘建立4个HDD磁盘组实现，每组配置HDD硬盘5块，根据具体的容量需求，配置相应类型和容量的HDD硬盘，HDD硬盘分为SAS和SATA，SAS访问速度高容量相对小，SATA速度相对低容量大。一般要求作为缓存的SSD硬盘容量是同组HDD硬盘的10%以上，一组HDD硬盘的容量为磁盘裸容量之和，可用容量的计算根据虚拟机副本要求计算。如虚拟机副本要求为1，则虚拟机的vmdk文件存2份，可用容量为50%，如果虚拟机副本为2，则vmdk文件存3份，可用容量为33%以此类推。
1.1.6. 服务器配置参考

1.2. 集群配置规划
在虚拟化中大规模部署时，需要考虑通过多服务器集群方式部署方式，建议按照服务器功能、CPU型号方式建立不同集群，同一集群中的服务器CPU型号保持一致，系统扩容的服务器建立单独集群。
集群的主要目的是避免单一物理机故障对业务虚拟机的影响，但集群HA虚拟建立心跳监测，集群中服务器不宜太多，业务集群虚拟机能够分属不同的集群。

1.2.1. 管理类集群
服务器数量为3，为管理类虚拟机建立单独服务器集群，运行管理类虚拟机，如AD、DNS、FTP Server、vCenter Server、vCenter Server 数据库、文件共享服务虚拟机等等，包括未来部署网络虚拟化时，运行NSX manager和NSX Controler等虚拟机；
1.2.2. 业务类集群
一般建议8-16台服务器为一集群，服务器规模较大时可以建立多个集群，集群中的服务器选自不同的机柜。
集群名称可以根据业务名称、部门名称等自定义。

1.2.3. 边界类集群
对于部署网络虚拟化NSX的环境，建议部署此类集群，实现网络边界通讯或南北向通讯，主要运行NSX的Edge类组件。
1.2.4. vSAN集群
对于采用vSAN虚拟化存储的服务器，单独建立集群。该集群主要考虑vSAN网络规划、磁盘规划等。
1.3. 存储配置规划
在存储配置建议1个DataStore对应于1个LUN，在需要较大的存储空间时，不要在DataStore层面去拼接多个Lun来扩大存储空间，可以考虑在存储层扩大Lun的存储空间，再在DataStore层来扩容空间；或者是对虚拟机添加新的vmdk（disk)文件，在OS层面去扩容应用使用的数据空间。
LUN的名称建议包含数据中心、存储厂家、LUN ID等，总之便于看到名称，就能快速定位物理位置，便宜差错。
根据VMware的最佳实践，按照每个DataStore存放10-15个虚拟机的方式规划，每个LUN和DataStore规划为1.5-2TB，同时每个LUN的在线访问路径，不要超过4条（VMware的上限是8条），每个集群的总存储路径不能超过1024，因此，LUN不宜划得太小和太多，LUN的ID必须在0-255之间，不能超过255。
1.4. 机柜配置规划
标准化数据中心机柜配置，提升数据中心规模效应，简化运维。
交换网络：机柜网络采用标准化配置，以2个机柜为冗余单元规划。每个机柜配置2x48=96口IP置顶交换机，机柜内服务器管理网络、虚拟机生产网络采用双网卡网口冗余，一条链路连接本机柜内交换机，一条链路连接相邻机柜类的交换机，实现网卡、链路、交换机冗余，参见下图。

远程管理网：配置1台48口IP交换机配置带外管理，管理机柜内服务器的远程访问，远程管理无需冗余。
数据网络：如果使用共享存储，则配置48个光纤交换机，服务器的光纤网络一条连接本机柜内的光纤交换机，一条连接相邻机柜内的光纤交换机，实现光纤HBA卡、链路、光纤交换机冗余。参见下图。
1.4.1. 高密度机柜

单一标准42U机柜中，安装较多的服务器，服务器计算性能相对较低，运行Web应用和普通应用，以Web群集方式提高并发性能为主的应用。
每个机柜，配置12-16台2U服务器，服务器配置为2CPU，12核，144GB内存，4个千兆网口，2块HBA卡（8GB）。如果是配置vSAN的服务器则不需要配置HBA卡，增加2块万兆网卡。

1.4.2. 低密度机柜

单一42U机柜中，安装较少的服务器，服务器配置相对高，运行应用服务器、数据库等相对负载较大的应用。
每个机柜，配置8台4U服务器，服务器配置为4CPU，12核，512GB内存，4个千兆网口，2个万兆网卡，2块HBA卡（8GB） 。

1.5. 机房配置规划

1. 为了实现未来云计算中心不同计算需求，机房规划实现高密度中低性能和低密度高性能区划分；
2. 高密度中低性能区使用2U2C服务器，承载如Web/APP类应用虚拟机或是使用vSAN的应用；低密度高性能区为4U4C服务器，承载负载较重的APP或前置数据库等。
3. 资源池管理分为高性能区和低性能区，硬件资源扩容使用同一标准，按照应用区的容量，分别扩容。服务器采购，考虑6个月内为同一标准，6个月后再评估产生新标准。
4. 应用系统不再以物理设备方式申请资源，而是通过计算方式，按应用类别申请计算资源。
1.6. ESXi服务器名称规划

　　准备安装ESX/ESXi的服务器 　　

　　安装ESX/ESXi就像安装任何一个Linux的套件一样，在确定你的机器匹配VMware的HCL之后即可以放心开始安装。但在安装之前，还是有些准备任务，包括了BIOS的配置，磁盘安全机制RAID，以及远程键盘鼠标屏幕KVM的配置。 　　

　　准备服务器的BIOS配置 　　

　　　　一般来说，任何通过VMware HCL认识的服务器都可以顺利运行，但在安装ESX/ESXi之前，还是别忘了将BIOS中相关的地方激活。 　　

　　服务器BIOS中虚拟机选项的激活 　　

　　　　VT-X:在BIOS会显示Virtualization Technology. 　　

　　　　VT-D:在BIOS中会显示VT-D或是IOMMU. 　　

　　RAID的规划及安装 　　

　　　　ESX/ESXi虽然是一个Hypervisor,但也是一个操作系统，因此也需要有些安全防护，因此在安装前，先要规划Hypervisor的存放位置，本地硬盘则一定要使用RAID才能确保Hypervisor的常规运行。 　　

　　RAID的常见名称 　　

　　　　Volume:卷，即RAID落实后的组合。 　　

　　　　Virtual Device:和卷同意，但一个VD可以只有一台硬盘。 　　

　　　　IM:即RAID1,通常是Mirror的意思。 　　

　　　　IS:即RAID0，即Stripping的意思。 　　

　　　　IME:即IM+Enhance的意思，通常为RAID1+Hot Spare. 　　

　　　　PD:Physical Device，即物理硬盘。 　　

　　准备主机的总控KVM 　　

　　　　在机房环境中，如果每一次安装或配置服务器都要跑到计算机旁边，安装上键盘，鼠标，屏幕，不但麻烦，一不小心还会把服务器的电源或网线给碰掉，带来无谓的困扰。在IDC中，一般会使用所谓的KVM转移设备，将这台服务器的键盘，鼠标，屏幕(通称KVM)的输出入都转移出来。 　　

　　1、KVM的种类:交换机 　　

　　　　最常见的KVM转移设备就是网卡，一般做法有通过KVM的交换机，再利用客户端程序或浏览器上交换机来操作给定IP的服务器。KVM交换机通常会有一个屏幕界面和USB界面，并且将这些界面集成CAT网络界面。 　　

　　2、KVM的种类:专属总控卡 　　

　　　　另一种就是在服务器中直接插上网络界面的KVM over IP卡，可以将这个KVM over IP的卡配置一个私有的IP，再将这个卡连上公用的交换机，只要通过IP就可以直接操作这台计算机，大部分的服务产品都是使用这种方式。 　　

　　在VMware Workstation上安装ESX/ESXi 　　

　　　　ESX必须匹配VMware HCL的硬件上才能安装，因此一般的PC要安装上必须靠运气，但如果只想评估ESX。事实上，VMware为了让每一个人都可以体会ESX的强大，特别在新版的VMware Workstation 7及以后的版本中加入了对ESX的支持，让你可以在"虚拟"的环境中再安装Hypervisor,并且也可以在上面再安装VM。虽然效果无法应用正规环境，但至少可以评估ESX的各项功能，如HA、VMotion、DRS等。 　　

　　1、在workstation上安装ESX/ESXi的必要条件 　　

　　　　虽然大部分个人计算机都可以安装VMware Workstation,但ESX/ESXi是一个64比特的Hypervisor,因些VMware Workstation的机器必须拥有64比特的CPU，而CPU也必须支持VT-X技术，满足这两个条件才能在上面安装ESX/ESXi. 　　

　　2、创建给ESX/ESXi用的VM 　　

　　　　VMware Workstation很贴心地在其上特别准备了给ESX/ESXi运行环境，只要经过简单的配置步骤即可。 　　

　　3、创建给ESX/ESXi用的VM 　　

　　　　在VMware Workstation下创建给ESX/ESXi的VM和创建其他的VM一样简单。 　　

　　　　(1) 进入VMware Workstation并且选择New Virtual Machine选项。 　　

　　　　(2) 选择Custom单选按钮，单击next按钮 　　

　　　　(3) 选择VMware Workstation的版本，这里选默认值即可。 　　

　　　　(4) 选择“I will install the operating system later”，然后next. 　　

　　　　(5) 在操作系统的选择上，选择VMware ESX，在Version中选择VMware ESX/ESXi4,next 　　

　　　　(6) 键入这个VM名称，选择存放位置，然后next。 　　

　　　　(7) 接下来选择CPU数量，next 　　

　　　　(8) 接下来是内存的大小，默认值是2GB，单击next按钮 　　

　　　　(9) 再接下来是网络，选择bridge方便管理，单击next. 　　

　　　　(10) 接下来是硬盘的界面卡，以默认值为主，单击next 　　

　　　　(11) 接下来是创建这个ESX VM的硬盘，选择创建新硬盘，单击next 　　

　　　　(12) 接下来是硬盘的界面，ESX以SCSI为主，单击next按钮 　　

　　　　(13) 给定VM硬盘的大小，默认为40GB，单击next 　　

　　　　(14) 接下来是这个VM使用硬盘VMDK的名称，也使用默认值，单击next按钮 　　

　　　　(15) 接下来是信息汇总 　　

　　　　(16) 单击finish完成创建。 　 　　

　

1.7. 虚拟机配置规划

鉴于服务器NUMA架构的原因，虚拟CPU（vCPU）和内存的分配，不要跨单一NUMA节点，即CPU不要超过CPU的核数，内存不超过NUMA的本地内存。如4CPU，每物理CPU为8核，内存192GB的服务器，虚拟机资源的配置最大为8个vCPU，内存小于48GB（192/4）。
对于应用架构为B/S的虚拟机，Web应用虚拟机一般建议vCPU的数量为2-4个，且每个虚拟机内部运行1-2个JVM，通过运行多个虚拟机实现Web和JVM集群扩展。