云环境性能测试

前言

经过长足的发展， 云计算技术现已越来越成熟和普遍。分类也很多，从用户场景可以分为 公有云、私有云、混合云； 从架构上讲，有IaaS, PaaS, SaaS等等。 针对最普遍的公有云，IaaS, 怎样来衡量一个云资源池的性能多高呢？ 更高的vcpu，更大的内存？抑或是更快的网络和磁盘？一方面，想要在有限的硬件资源中部署更多的虚拟资源，又想要同时保证虚拟机的各个性能不至于太低， 这是一个比较头疼的问题。 

让我们通过SPEC CLOUD 2018，来揭晓它的逻辑...

什么是SPEC CLOUD 2018

SPEC Cloud IaaS 2018 Benchmark是SPEC开发的评估基于大数据场景下的云基准标准测试套件，采用Yahoo的YCSB与HiBench的K-Means模拟实际的工作负载。主要测试的是IaaS云平台性能，选用两类最重要的和最具代表性的负载：云平台上运行IO密集型和计算密集型负载，通过加压测试数据面性能、可扩展性以及控制面性能来得到测试结果。

SPEC CloudIaaS 2018具有完善技术测试框架，是云计算性能测试的基准，是企业级客户云产品选型的重要参考标准。测试框架主要指标包含如下4个方面：

结果示例：

SPEC CLOUD 2018 测试用例分类

从测试内容上，SPECCLOUD分为两种类型的测试：IO密集型负载测试 和 计算密集型负载测试

IO密集型负载测试：YCSB是Yahoo公司的一个用来对云服务进行基础测试的工具，SPEC CloudIaaS 2018通过创建NoSQL（Cassandra）实例实现YCSB架构。

YCSB 虚拟机架构：

YCSB测试覆盖以下指标：

计算密集型负载测试：K-Means算法是机器学习中常用的一种聚类算法。SPEC CloudIaaS 2018基准测试使用HiBench K-Means实现计算密集型测试。其测试项包括完成时间、每个应用实例运行的Hadoop迭代计数、平均应用实例配置时间。

K-Means 虚拟机架构：

K-Means 测试套件，在测试中会包含1个Hadoop name node(也叫 HiBench instance)和5个Hadoop data node。其中Hadoop name node上面运行驱动测试的程序和服务，生成一些可用于K-Means算法的数据， 数据处理方面的工作，则是在5个Hadoop data node上进行。同样，K-Means测试套件中，也会有一些由CBTOOL来hardcode的参数，如下：

通过以上YCSB和K-Means2个测试套件， 可以针对以下的指标做出具体的衡量，用于最后的结果计算：

SPEC CLOUD 2018 测试方法分类

根据部署的CBTOOL机器的位置， SPECCLOUD的测试分为白盒测试(white-box) 和 黑盒测试(black-box)两种。

黑盒测试：测试机器CBTOOL部署在被测的资源池中，但是不能与其他用于测试目的的虚拟机共用一个物理环境，换言之，就是不要让CBTOOL机器部署在用于测试的计算节点中。若确实需要部署在某一个计算节点， 那么需要将该物理计算节点在openstack侧进行下线，以避免会有虚拟机在创建时落到该节点。比如可以放到KVM管理节点上。

白盒测试：相对于黑盒测试， 白盒测试中， CBTOOL节点会部署在独立于被测资源池之外的环境中。 然后将CBTOOL节点的网络与被测资源池的网络进行打通从而进行通信。

SPEC CLOUD 2018 部署配置与调试

总体部署内容：

着重讲解一下CBTOOL测试机器部署与配置

对于CBTOOL测试机器，不论是黑盒或者是白盒，  被测试的资源池都需要满足以下条件：

配置好以上内容后，执行命令 cd ~/osgcloud/cbtool/; ./cb --soft_reset如果没有报错，则表示CBTOOL可以与被测资源池的配置完成了。

接下来，开始制作镜像：

修改配置文件~/osgcloud/cbtool/configs/cbuser_cloud_definitions.txt，在对应的CLOUD配置代码段（我们例子里是MYOS）后面添加以下内容：[VM_TEMPLATES : OSK_CLOUDCONFIG]        # setting various CBTOOL roles and images

# the images have to exist in OpenStack glance.

# choose required images and comment other images.

# ubuntu images

CASSANDRA = size:m1.medium, imageid1:cassandra_ubuntu

YCSB = size:m1.medium, imageid1:cb_speccloud_cassandra

SEED = size:m1.medium, imageid1:cb_speccloud_cassandra

HADOOPMASTER = size:m1.medium, imageid1:cb_speccloud_kmeans

HADOOPSLAVE = size:m1.medium, imageid1:cb_speccloud_kmeans

上面的配置指定了要创建的YCSB/K-Means虚拟机的规格，使用的镜像。 需要确保在被测资源池中已经创建好了相应的flavor和镜像。

SPECCLOUD 2018 测试之BaselineSPECCLOUD 2018 测试分为两个阶段，一个是 baseline，另一个是scale-out，当两个都跑完时，才会有报告生成。scale-out是基于baseline的基础上进行的测试，需要先跑baseline，再跑scale-out。YCSB Baseline测试： ./all_run.sh -e SPECRUNID -s ycsb_baseline， SPECRUNID为SPECCLOUD测试执行的唯一标识，可以任意设置。K-means Baseline测试： ./all_run.sh -e SPECRUNID -s kmeans_baseline 测试完成后，在home目录下的~/results/SPECRUNID/perf/下会生成多个测试结果。在/var/log/cloudBench/下会生成SPECCLOUD测试的日志，一般排查问题时会查看。

SPECCLOUD 2018 测试之Scale-out在Baseline完成之后，可以执行命令：./all_run.sh -e SPECRUNID_NEW  -s scale_out_NC -b ~/results/SPECRUNID_FIRST/perf/baseline_SPECRUNID_FIRST.yaml  --yes也可以直接执行：./all_run.sh -e SPECRUNID_FIRST  -s all来一次性跑baseline + scale out的测试

测试报告生成