H3C UniServer R4900 G3服务器部署VMware vSAN最佳实践 您所在的位置:网站首页 服务器cpu降频加入vsan H3C UniServer R4900 G3服务器部署VMware vSAN最佳实践

H3C UniServer R4900 G3服务器部署VMware vSAN最佳实践

2024-06-29 03:01| 来源: 网络整理| 查看: 265

H3C UniServer R4900 G3服务器部署VMware vSAN的最佳实践

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Copyright © 2020 新华三技术有限公司 版权所有,保留一切权利。

非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播。

除新华三技术有限公司的商标外,本手册中出现的其它公司的商标、产品标识及商品名称,由各自权利人拥有。

本文档中的信息可能变动,恕不另行通知。

目  录

1 简介··· 1-2

1.1 R4900 G3产品介绍·· 1-2

1.2 VMware vSAN介绍·· 1-2

2 方案实施··· 2-3

2.1 方案概述·· 2-3

2.2 硬件配置·· 2-4

2.3 硬件拓扑·· 2-5

2.4 软件版本·· 2-6

2.5 方案流程·· 2-6

3 交换机配置··· 3-7

4 VMware ESXi操作系统安装··· 4-8

4.1 镜像文件制作·· 4-8

4.1.1 镜像文件准备·· 4-8

4.1.2 VMware镜像制作·· 4-9

4.2 操作系统安装·· 4-12

4.3 网络设置·· 4-19

5 vCenter搭建··· 5-21

6 vSAN群集搭建··· 6-31

6.1 IP地址规划·· 6-31

6.2 操作步骤·· 6-31

7 HCIBench_2.3.1部署及测试结果··· 7-38

7.1 HCIBench_2.3.1部署·· 7-38

8 性能优化思路··· 8-50

8.1 vSAN测试结果·· 8-50

8.2 硬件拓扑优化·· 8-51

8.3 缓存盘优化·· 8-52

8.4 软件优化·· 8-53

8.5 集群配置优化·· 8-53

1 简介 1.1  R4900 G3产品介绍

说明

本文图片仅供参考,具体以实际情况为准。

 

H3C UniServer R4900 G3(下文简称R4900 G3)是新华三技术有限公司(下文简称H3C)基于Intel新一代Purley平台所开发的新一代2U双路机架式服务器。可广泛应用于互联网、云计算、IDC(Internet DataCenter,互联网数据中心)、企业市场、电信等。

R4900 G3具有低功耗、高可靠、灵活扩展性强、易管理,易部署等优点。单台服务器支持双路CPU,最多可以提供56个内核和112个线程,支持Intel超线程技术,每个处理器内核并发运行多个线程,最大限度的提高了多线程应用和并行处理能力。

图1-1 R4900 G3服务器

 

 

1.2  VMware vSAN介绍

VMware vSAN(Virtual SAN,虚拟存储局域网)是VMware公司提出的软件定义存储架构的企业存储解决方案,支持HCI(Hyper-Converged Infrastructure,超融合基础架构)系统,把多台服务器上的计算、存储和网络加以整合利用,避免连接外部环境产生的网络延迟,实现服务器资源的有效利用。

VMware vSAN使用软件定义的方法为虚拟机创建共享存储,将多台安装有VMware ESXi系统的x86服务器上的本地磁盘加以整合,组成磁盘组,在这之上使用vSphere和vCenter管理,通过内部的网络相连,形成一个大容量的存储,然后可根据虚拟机和应用程序的服务质量要求划分这些存储池并分配给这些虚拟机和应用程序。

VMware vSAN集群包括混合群集和全闪存群集。在混合群集中,闪存设备用于缓存层,磁盘用于存储容量层。在全闪存群集中,闪存设备同时用作缓存和容量设备。VMware vSAN目前广泛应用在如VDI云桌面服务、开发测试系统云服务、Cloud私有云服务等场景。

2 方案实施 2.1  方案概述

随着科技的迅速发展,企业的业务量不断增加,为提升服务质量和效率,企业对于vSAN集群存储空间、吞吐量和时延的要求也不断提高,因此混合群集和全闪存群集的vSAN集群需求量不断增加。

vSAN群集如图2-1所示,本文选择配置全闪存(SSD)集群,NVMe硬盘作为缓存设备,SSD硬盘作为存储设备。

图2-1 vSAN群集

 

2.2  硬件配置

说明

本手册中,所有部件的型号都做了简化(比如删除前缀和后缀)。比如内存型号DDR4-2933P-16G-1Rx4-R-x,代表用户可能看到的以下型号:UN-DDR4-2933P-16G-1Rx4-R-x、UN-DDR4-2933P-16G-1Rx4-R-x-F、UN-DDR4-2933P-16G-1Rx4-R-x-S。

 

硬件配置如下:

·     4台R4900 G3服务器用于搭建vSAN群集,4台服务器硬件配置完全相同,如表2-1所示。

·     交换机配置如表2-2所示。

·     为避免占用集群资源,还需准备一台管理服务器,并在管理服务器上安装Windows Server 2019操作系统和vCenter。

表2-1 单台R4900 G3硬件配置

部件类型

部件型号

安装位置

数量

CPU

CPU-6240-2U

满配CPU槽位

2

内存

DDR4-2933P-16G-1Rx4-R-x

满配白色内存插槽

12

(可选)管理网卡

NIC-GE-4P-360T-L3

slot 9

1

存储网卡

NIC-620F-B2-25Gb-2P-1-X

slot 2或slot 3

1

存储控制卡

HBA-LSI-9311-8i

slot 1

1

RAID-LSI-9460-16i(4G)

slot 6

1

NVMe SSD扩展卡

EX-4NVMe-A

slot 5

1

SAS硬盘

HDD-600G-SAS-12G-10K-SFF-1

后部2SFF硬盘笼

1

SATA硬盘

SSD-960G-SATA-6G-EV-SCL-i

前部硬盘编号0~7

8

NVMe硬盘

SSD-375G-NVMe-LFF-i

前部硬盘编号8、9

2

硬盘背板

BP-12LFF-4UniBay-2U

前部硬盘背板

1

BP-2SFF-R4900

后部2SFF硬盘背板

1

 

表2-2 交换机推荐配置

交换机类型

业务场景

交换机数量

1G以太网交换机

(本文中为H3C S5120V2-52P-SI交换机)

管理网

1

25G以太网交换机

(本文中为H3C S6820-56HF交换机)

存储网

1

 

2.3  硬件拓扑

硬件拓扑关系如图2-2所示,4台R4900 G3通过1G交换机连接到管理网,用于批量管理多台服务器,通过25G交换机连接到存储网,用于vSAN群集的搭建和运行。

图2-2 vSAN群集硬件拓扑图

 

每台R4900 G3的配置完全相同,详细配置如图2-3所示:

图2-3 R4900 G3设备配置图

 

2.4  软件版本

本文使用的软件及版本如表2-3所示。

表2-3 软件版本

组件类型

组件

软件及版本

操作系统

虚拟机

VMware vSphere Hypervisor(ESXi) 6.7 U3

管理软件

vCenter

VMware vCenter Server v6.7 u3a

测试工具

HCIBench

HCIBench_2.3.1

 

2.5  方案流程

vSAN群集的搭建流程图如图2-4所示,主要包含以下内容:

·     交换机

·     VMware ESXi操作系统

·     vCenter搭建

·     vSAN群集搭建

图2-4 vSAN群集搭建流程图

 

vSAN群集的测试结果及优化思路主要包含以下内容:

·     HCIBench_2.3.1部署及测试结果

·     性能优化思路

3 交换机配置

通过telnet管理IP地址登录25G存储交换机,开启PFC功能。

1. 操作步骤

(1)     进入系统视图。

system-view

(2)     进入以太网接口视图。

interface interface-type interface-number

(3)     配置PFC功能的开启模式。

priority-flow-control { auto | enable }

2. 示例

# 打开接口GigabitEthernet1/0/9~GigabitEthernet1/0/16的PFC功能。

system-view

[H3C] interface range gigabitethernet 1/0/9 to gigabitethernet 1/0/16

[H3C-if-range] priority-flow-control enable

4 VMware ESXi操作系统安装 4.1  镜像文件制作

说明

准备镜像文件均在管理服务器上操作,管理服务器在拓扑中的位置请参见图2-2。

 

4.1.1  镜像文件准备 1. 安装服务器操作系统

服务器需安装Microsoft Windows Server 2019,用户可从微软官网获取该操作系统,操作系统的安装方式请参见《H3C服务器 操作系统安装指导》。

2. 打开powershell

(1)     打开运行框(windows键+R)。

(2)     如图4-1所示,输入命令powershell并单击确定。

图4-1 运行框输入powershell

 

3. 连接外网

配置过程中服务器需要连上外网,需在powershell中通过以下命令设置代理(根据实际环境进行设置)。

set http_proxy=IP:端口号

4. 设置powershell执行策略

设置powershell执行策略:允许本地的脚本执行。

Set-ExecutionPolicy -ExecutionPolicy RemoteSigned(有问题可以执行Set-ExecutionPolicy Unrestricted)

Get-ExecutionPolicy查询,如图4-2所示,显示RemoteSigned即可。

图4-2 powershell查询

 

5. 安装VMware PowerCLI模块

安装VMware PowerCLI模块,本文采用以下命令在线安装(需连接外网),也可以在VMware官网下载安装包进行安装。

Install-Module  -Name  VMware.PowerCLI

6. 文件准备

·     VMware 6.7的镜像,可在VMware官网获取。

·     需要集成到镜像里的存储控制卡和网卡的驱动,可在H3C官网获取。

·     本文中需要驱动的部件有:NIC-GE-4P-360T-L3、HBA-LSI-9311-8i、RAID-LSI-9460-16i(4G)。

·     制作工具ESXi-Customizer-PS-v2.6.0.ps1,可在VMware官网获取。

说明

·     OS镜像版本:目前推荐安装VMware ESXi 6.7 U3 (64 bit)。

·     制作镜像目的:将服务器各主要部件的驱动程序放进OS镜像,部件包括网卡、存储控制卡等。

 

4.1.2  VMware镜像制作 1. 打开powershell

可参考4.1.1  2. 打开powershell章节。

2. 加入VMware CEIP

加入VMware CEIP,避免驱动集成工具执行过程中出现异常报错信息。

Set-PowerCLIConfiguration -Scope User -ParticipateInCeip $true

图4-3 加入VMware CEIP

 

3. 保存所需文件到相同目录

将VMware ESXi 6.7 U3 (64 bit) Offline buddle包、存储控制卡驱动Offline buddle包及驱动集成工具ESXi-Customizer-PS-v2.6.0保存在相同目录下。

图4-4 保存所需文件到相同目录

 

4. 切换powershell控制台到该目录下,准备执行驱动集成工具脚本。

图4-5 切换powershell控制台目录

 

5. 制作ISO镜像

制作ISO安装镜像命令如下:

.\ESXi-Customizer-PS-v2.6.0.ps1 -iZip .\update-from-esxi6.7-6.7_update03.zip -dpt .\XXX -load YYY

说明

·     ESXi-Customizer-PS-v2.6.0.ps1:驱动集成工具

·     update-from-esxi6.7-6.7_update03.zip:VMware ESXi 6.7 U3 (64 bit) Offline buddle包

·     XXX:需要集成的驱动程序offline buddle包,如aacraid-6.0.6.2.1.57013-offline_bundle-11959565.zip。

·     YYY:VMware系统下的驱动名称,如scsi-aacraid。

 

如需要集成多个驱动,可以在-dpt和-load后面追加多个参数,使用逗号隔开,如以下示例命令:

PS D:\vmware> .\ESXi-Customizer-PS-v2.6.0.ps1 -iZip .\update-from-esxi6.7-6.7_update02.zip -dpt .\aacraid-6.0.6.2.1.57013-offline_bundle-11959565.zip,.\VMW-ESX-6.7.0-lpfc-12.0.193.14-offline_bundle-8983045.zip -load scsi-aacraid,lpfc

也可以将需要集成的驱动放在一个文件夹下,zip与vib格式均可,使用如下命令自动查找并集成到系统:

.\ESXi-Customizer-PS-v2.6.0.ps1 -izip .\update-from-esxi6.7-6.7_update02.zip -pkgDir .\驱动存放文件夹

命令执行结束后会生成一个OS安装镜像,ISO镜像的存放位置可以参照运行结果,如图4-6所示,镜像文件存放于D:\vmware。

图4-6 制作镜像命令输出结果

 

4.2  操作系统安装

说明

4台R4900 G3服务器均需按照本章节内容正确安装操作系统。

 

(1)     登录到服务器的远程控制台,通过HDM Web界面上的控件对服务器进行远程操作。

登录远程控制台前,请用户先获取HDM的IP地址和用户名密码,并确认客户端(如本地PC)的运行环境满足要求。

表4-1 登录前准备项目

准备项目

说明

HDM IP地址

服务器缺省HDM IP地址:

·     HDM共享网口:通过网络中的DHCP服务器分配IP地址

·     HDM专用网口:192.168.1.2/24

HDM用户名

缺省用户名(区分大小写):admin

HDM密码

缺省密码(区分大小写):Password@_

客户端浏览器版本

·     Google Chrome 48.0及以上

·     Mozilla Firefox 50.0及以上

·     Internet Explorer 11及以上

客户端分辨率

要求不低于1366*768,推荐设置为1600*900或更高

 

(2)     请将网线连接到服务器的HDM共享网口,确保网络可达。

(3)     通过浏览器登录HDM Web界面,单击[远程控制/远程控制台]菜单项,进入远程控制台界面,如图4-7所示。

图4-7 服务器远程控制台

 

(4)     单击远程控制台按钮,启动远程控制台,登录到计算节点。

(5)     选择CDROM启动项进行启动;

图4-8 选择启动介质

 

(6)     系统进入自动加载界面,请耐心等待,如图4-9所示。

图4-9 加载操作系统安装文件

 

(7)     加载系统信息,验证硬件驱动

图4-10 加载操作系统模块

 

(8)     完成加载后进入如图4-11所示界面,根据界面提示信息,按“Enter”确认继续安装。

图4-11 Vmware ESXi安装界面

 

(9)     进入如图4-12所示界面,按“F11”接受License授权。

图4-12 License授权界面

 

(10)     进入如图4-13所示界面,选择待安装操作系统的硬盘,完成选择后按“Enter”继续安装;按“F1”查看硬盘详细信息。

图4-13 选定OS安装所在硬盘

 

(11)     选择键盘布局,默认为“US Default”,完成选择后按“Enter”继续安装。

图4-14 选择键盘布局

 

(12)     进入图4-15所示界面,设置root用户的密码后,按“Enter”继续安装。

图4-15 设置root密码

 

(13)     进入图4-16所示界面,按“F11”确认安装,此步骤硬盘将会被重新分区。

图4-16 确认安装

 

(14)     安装完成后,进入图4-17所示界面,按“Enter”重启。

图4-17 安装完成

 

(15)     重启完毕,进入图4-18所示界面,此时VMware ESXi操作系统已安装完成。

图4-18 服务器完成重启

 

(16)     按“F2”进入图4-19所示界面,输入root用户名的密码,按“Enter”登录服务器。

图4-19 输入密码

 

(17)     进入图4-20所示界面,完成VMware ESXi操作系统登录。

图4-20 配置系统选项

 

4.3  网络设置

说明

4台R4900 G3服务器均需按照本章节内容正确设置网络。

 

(1)     为方便远程调试,服务器需打开SSH使能,选择Troubleshooting Options,按“Enter”进入详细信息。

图4-21 选择Troubleshooting Options

 

(2)     如图4-22所示使能Shell和SSH,enable ESXi Shell & SSH,然后按“Esc”返回即可

图4-22 使能ESXi Shell & SSH

 

(3)     选择管理网口Configure Management Network --> Network Adapters,可按“Enter”查看或设置网络配置,本文中IP地址为自动获取,现场可根据实际情况配置静态IP地址。

图4-23 选择管理网口

 

图4-24 网络配置

 

5 vCenter搭建

vCenter用于统一管理集群主机,部署操作步骤如下:

(1)     虚拟机准备:vCenter为避免占用集群资源,需在4台服务器外,选择一台现有服务器搭建独立虚拟机(操作系统Windows Server 2019),可与上文中制作镜像的服务器共用。

(2)     从VMware官网下载VMware vCenter Server v6.7 u3a镜像文件,将镜像文件拷贝到系统。

(3)     解压镜像,双击autorun.exe进行安装(也可以进入vCenter-Server双击VMware-vCenter-Server.exe)。

图5-1 运行安装程序

 

(4)     接受协议并单击按钮。

图5-2 开始安装

 

图5-3 接受协议条款

 

(5)     选择嵌入式部署,并单击按钮。

图5-4 选择嵌入式部署

 

(6)     根据现场IP地址规划,设置系统名称为固定IP地址。本文使用的系统名称为172.16.103.172。

图5-5 设置系统名称为固定IP地址

 

(7)     设置域名及密码,用户名默认不变,密码自定义,完成设置后单击按钮。

图5-6 设置域名及密码

 

(8)     选择数据库,默认使用嵌入式数据库,单击按钮。

图5-7 数据库设置

 

(9)     端口号选择,默认不变,单击按钮。

图5-8 配置端口

 

(10)     安装位置选择,默认不变,单击按钮,并等待安装完成。

图5-9 目标目录

 

图5-10 安装完成

 

(11)     网页输入vCenter的IP地址,如https://IP,然后单击按钮。

图5-11 输入IP地址

 

(12)     登录vCenter,输入用户名和密码,单击按钮。

图5-12 输入用户名和密码

 

(13)     点击上方提示的“MANAGE YOUR LICENSES”后,来到“许可证”界面。接着单击按钮添加license,添加成功后选择刚刚添加的license,单击按钮同步licenses。

图5-13 添加并同步license

 

6 vSAN群集搭建

完成vCenter搭建后,需基于vCenter进行vSAN群集的搭建。

6.1  IP地址规划

IP地址可选择自定义静态IP地址也可以选择DHCP模式自动获取。本文中IP地址均采用DHCP模式自动获取,获取后的管理网IP地址如表6-1所示。

表6-1 IP地址规划表

服务器

管理网IP地址

存储网IP地址

R4900 G3服务器1

172.16.10.222

如图6-11所示,选择自动获取IP地址

R4900 G3服务器2

172.16.12.51

R4900 G3服务器3

172.16.13.211

R4900 G3服务器4

172.16.17.232

 

6.2  操作步骤

(1)     (可选)创建数据中心Datacenter。vCenter IP地址选项卡下默认会有一个Datacenter,可以使用默认的,也可以自行创建。本文使用默认的Datacenter。

图6-1 创建数据中心Datacenter

 

(2)     创建群组Cluster,右键数据中心Datacenter选择新建Cluster,默认已有一个Cluster。本文选择新建群组vSAN,使能vSphere DRS和vSAN服务,单击按钮。

图6-2 创建群组Cluster

 

(3)     创建集群主机,右键vSAN群组,选择“Add Hosts”依次添加4台主机,即要创建的集群ESXi主机,等待校验完成即可。

图6-3 添加主机

 

(4)     如图6-4所示,在弹出的对话框中输入主机的管理口IP地址,用户名及密码。

图6-4 输入主机配置

 

(5)     网络设置,请依次设置4台主机网络。单击host主机IP地址,单击“Configure”,找到“Networking”,单击“Virtual switches”,单击“ADD NETWORKING”新增网络。

图6-5 网络设置

 

(6)     选择VMkernel Network Adapter,单击按钮进入下一步。

图6-6 选择连接类型

 

(7)     选择新建标准交换机,修改MTU值为9000,单击按钮进入下一步。

图6-7 选择新建标准交换机

 

(8)     选择物理网口,单击“+”,选择vSAN存储的网卡端口,本文配置选择25G的网口,单击按钮进入下一步。

图6-8 添加物理网口

 

图6-9 选择物理网口

 

(9)     勾选vSAN服务,单击按钮进入下一步。

图6-10 勾选vSAN服务

 

(10)     选择“Obtain IPv4 settings automatically”自动获取IP地址,注意管理网和存储网都要接在局域网中,存储网可以在交换机上做vlan隔开,避免大流量数据形成网络风暴影响业务,单击按钮进入下一步。

图6-11 选择自动获取IP地址

 

(11)     设置磁盘组,单击vSAN群集,选择“Configure”,找到“Disk Managemeng”,单击host主机,单击“CREATE DISK GROUP”创建磁盘组。

图6-12 设置磁盘组

 

(12)     选择一个盘做为磁盘组的cache,选择其他盘作为数据盘,每个磁盘组分配的盘数量根据需求自定义,每个磁盘组盘数相同。本文每组磁盘组中选择1块NVMe硬盘作为缓存盘,4块SATA硬盘作为数据盘,每个节点配置2组磁盘组。

图6-13 配置磁盘组

 

7 HCIBench_2.3.1部署及测试结果

说明

·     HCIBench_2.3.1仅在管理服务器部署,用于对vSAN群集性能的测试。

·     实际应用场景可选择是否部署HCIBench_2.3.1,部署与否不影响vSAN群集的使用。

 

7.1  HCIBench_2.3.1部署

(1)     下载OVA模板。官网地址:https://flings.vmware.com/hcibench#comments

(2)     导入OVA模板,单击按钮进入下一步。

图7-1 选择模板路径

 

(3)     设置设备名称并选择本地路径,单击按钮进入下一步。

图7-2 设置设备名称并选择本地路径

 

(4)     选择vSAN资源,单击按钮进入下一步。

图7-3 选择资源

 

(5)     检查细节参数,确认参数是否设置正确,单击按钮进入下一步。

图7-4 检查细节参数

 

(6)     勾选“I accept all license agreements”并单击按钮进入下一步。

图7-5 接受协议

 

(7)     选择vSAN存储,单击按钮进入下一步。

图7-6 选择vSAN存储

 

(8)     选择网络(确认目标网络可用,导入后也可更改目标网络),单击按钮进入下一步。

图7-7 选择网络

 

(9)     配置网络IP地址和root的密码,单击按钮进入下一步。

图7-8 配置网络及密码

 

(10)     完成OVA导入,单击按钮完成导入。

图7-9 完成导入

 

(11)     检查HCIBench的网络适配器(推荐与VC&主机为同一网段,且能正常通信),示例图片中IP地址为172.16.13.95,现场可根据需要进行修改。

图7-10 硬件信息

 

图7-11 OS下网卡信息

 

(12)     登陆HCIBench界面,https://172.16.13.95:8443/,→"Configuration"页面,配置对应信息(所有信息需要与VC信息一致)。

图7-12 参考配置(一)

 

图7-13 参考配置(二)

 

(13)     单击图7-13中“Select a Workload Parameter File”选项中按钮进行配置文件的配置,调整测试参数,如Block Size、Read Percentage等。

图7-14 参考配置文件选项

 

(14)     配置完成后单击图7-13中“SAVE CONFIG”后,单击按钮开始测试。

图7-15 开始测试

 

(15)     运行一段时间后可登录https://hcibench_ip:3000查看HCIBench界面及各项参数,如图7-16所示。

图7-16 HCIBench界面

 

8 性能优化思路 8.1  vSAN测试结果

本文使用HCIBench_2.3.1测试工具,得到不同的Block Size和Read Pencentage配置下集群的IO吞吐量和延时结果如表8-1所示,参数的配置请参见7.1  (13)章节。

表8-1 各配置集群吞吐量和延时结果

Block Size

Read Percentage(%)

IOPS

Latency(ms)

4K

0

249,893

4.2

4K

30

282,831

3.6

4K

70

368,238

2.8

4K

100

522,839

2

8K

0

271,260

4.5

8K

30

354,702

3.9

8K

70

352,051

2.9

8K

100

510,184

2

64K

0

69,125

14.8

64K

30

94,586

10.9

128K

0

35,714

28.7

128K

30

47,108

21.7

 

8.2  硬件拓扑优化

硬件配置确认后,对于每台机器内部的连接,需要根据应用模型去分析,本文是存储相关应用,数据流读写,涉及到缓存盘和数据盘。比较两种配置,如图8-1所示配置一的数据盘和缓存盘分属不同CPU,如图8-2所示配置二的数据盘和缓存盘是在同一个CPU下。经过测试验证,配置二相比配置一性能有近8%的提升。故最终选择配置二。

图8-1 硬件配置一

 

图8-2 硬件配置二

 

8.3  缓存盘优化

本文选择SSD-375G-NVMe-LFF-i和SSD-1.6T-NVMe-EM-SCL-i作为缓存设备进行比较测试并最终选用了SSD-375G-NVMe-LFF-i,目的是对比Intel上一代NVMe和新的敖腾系列NVMe作为缓存设备在vSAN群集中的性能差异,同时对集群的IO吞吐量和延时进行优化。

1. IOPS和Latency

SSD-375G-NVMe-LFF-i相较SSD-1.6T-NVMe-EM-SCL-i,IOPS上涨15%的同时Latency下降10%,性能有较大提升。

2. 耐用性

SSD-375G-NVMe-LFF-i相比SSD-1.6T-NVMe-EM-SCL-i耐用性提升68%。

表8-2 耐用性比对

/

SSD-960G-SATA-6G-EV-SCL-i *4

SSD-1.6T-NVMe-EM-SCL-i*1

SSD-375G-NVMe-LFF-i*1

Capacity

960G

1.6T

375G

DWPD (5yrs)

2

4.19

30

PBW

14

12.3

20.5

 

说明

·     Capacity,硬盘容量。

·     DWPD,(Diskful Writes Per Day),每日整盘写入次数,指在预期寿命内可每日完整写入SSD固态硬盘所有容量的次数。

·     PBW,硬盘理论寿命所对应的总写入数据量。根据PBW比较,会出现作为缓存设备的PSSD-1.6T-NVMe-EM-SCL-i比作为存储设备的SSD-960G-SATA-6G-EV-SCL-i先损坏。

 

8.4  软件优化 1. 服务器配置

在本文的配置中,使用如表8-3所示配置,IOPS性能可获得较大提升,如4K 70% Read IOPS性能较优化前可提升15%。

表8-3 软件优化措施

序号

优化项目

项目描述

优化措施

1

vSAN版本

vSAN 6.7 U3之前的版本存在限速问题,每个磁盘组在120MB/Sec左右

使用vSAN 6.7 Update3

2

VMD驱动

对比于ESXi自带驱动,VMD驱动能提供更高的性能

·     在BIOS启用VMD(默认开启)

·     在vSAN6.7更新VMD驱动,本文使用的驱动版本为:intel-nvme-vmd-1.8.0.1001-1OEM.670.0.0.8169922.x86_64.vib

3

存储网网卡

vSAN性能受网络影响较大,避免网络成为性能瓶颈

本文中使用的驱动和固件版本:MEL_bootbank_nmlx5-core_4.17.15.16-1OEM.670.0.0.8169922.vib和14.20.1010

 

2. 交换机配置

在本文的配置中,测试验证交换机PFC enabled状态相比disabled状态IOPS有最多7%的提升,配置方法详见3 交换机。

8.5  集群配置优化

vSAN最适合在具有统一配置(包括存储配置)的主机上运行,即平衡的集群配置,本文中的4台机器配置完全一样。

如果vSAN群集使用具有不同配置的主机,即不平衡的集群配置,则会存在以下劣势:

·     存储性能的可预测性将会降低,因为vSAN不会在各个主机上存储相同数量的组件。

·     维护步骤不同,给维护造成不便。

·     对于集群中拥有类型不同的缓存设备的主机,性能将会降低。



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有