GB/T 25000.51

背景

标准结构

关于性能效率

软件性能效率的定义

👉 软件性能效率之时间特性

01 响应时间

02 处理时间

03 吞吐率

👉 性能效率之资源利用性

01 服务器资源利用率

02 数据库资源利用率

03 中间件利用率

👉 性能效率之容量

👉 软件性能效率之依从性

背景

计算机软件是计算机应用的核心，其质量的好坏关系到计算机应用系统的成败，软件测评是提高软件质量的重要手段之一。

2016 年，国家标准化委员会发布了国家标准 GB/T 25000.51-2016《系统与软件工程 系统与软件质量要求和评价（SQuaRE）第 51 部分：就绪可用软件产品（RUSP）的质量要求和测试细则》，确立了就绪可用软件产品（RUSP）的质量要求，以及测试 RUSP 的测试计划、测试说明等文档要求和 RUSP 的符合性评价细则。

为帮助软件测评人员更好地了解最新标准，NLSETC组织全员学习GB/T 25000.51-2016，深入解读标准条款的内容，对产品质量相关特性及子特性进行解析。

GB/T 25000.51-2016中RUSP的要求包括：

其中软件质量要求，包括产品质量和使用质量。

本文主要就RUSP产品质量之性能效率展开讨论。

2009年

双11诞生，高峰每秒只有400个请求

2017年

交易额增长200倍

交易峰值增长超过400倍

实现了每秒处理17万条请求的技术奇迹

2018年

天猫双11剁手的人太多

当天成交额是2135亿，再创新高

奈何当天好多人为了凑津贴多买了一些东西

然后不要的想退来着，结果......

除了退款，双十一凌晨时，淘宝也出现了另一个问题：改不了收货地址，在双十一开始后的半个小时内，很多用户反应不能改收货地址，只能用默认的 →_→

2

很多人点了它以后，会变成这样→_→

2

可是双十一当口，再不下单就被抢光了！

于是很多人只能硬着头皮乱寄了：比如有的人买一堆东西去前任家里的...

再配合一些非常负责的，发货飞快的店家，这个画面非常的喜感。

因为这个小问题，整惨了的不止是买家，还有店家...... →_→

2

再有当年12306的购票事件，产品或系统的性能效率的重要性毋庸置疑。那么，什么是性能效率，如何做好产品或系统的性能效率测试、影响产品或系统性能效率的因素有哪些，就是我们接下来要讨论的。

|| 性能效率 ||

定义：指产品或者系统在运行的过程中表现出来的时间和空间效率与用户的需求之间的吻合程度。

作用：验证产品或者系统是否能够达到用户提出的性能指标，性能效率指标的度量可以反映产品或者系统目前所达到的效率水平。

性能效率主要包含时间特性、资源利用性、容量特性以及性能效率的依从性4个子特性。

在这个快节奏的信息化时代，一个产品或系统功能好不好用先不说，用户首先能感知到是页面访问的快不快，会不会卡顿，使用的人多了是不是会经常挂掉。

根据Aberdeen Group的研究报告，对于Web网站，1秒的页面加载延迟相当于少了11%的PV（page view），相当于降低了16%的顾客满意度。如果从金钱的角度计算，就意味着：如果一个网站每天挣10万元，那么一年下来，由于页面加载速度比竞争对手慢1秒，可能导致总共损失25万元的销售额。

结合自身的实际体验，启动一个软件如果很卡，是不是就不太想用了，如果在中间使用时再很卡时，下次再想使用的欲望是不是就会强烈减少，甚至会产生排斥心理。

|| 时间性定义 ||

产品或系统执行某功能时，产品或系统的响应时间、处理时间以及吞吐率满足需求的程度。

|| 时间性解析 ||

时间特性反应与运行速度相关的性能，主要从响应时间、处理时间及吞吐率三方面进行度量。

响应时间：指从用户发起一个请求开始到服务器返回响应数据所经历的时间，这是用户所关心的，也是最直观能感受到的。通常从如下几个指标进行度量：

系统响应时间：是从客户端提交请求到客户端接收到服务响应所消耗的时间。

平均响应时间：软件产品或系统处理事务的响应时间平均值。

对于客户端用户来说，最直观的体验就是访问该页面快或者慢，即响应时间的长短。比如在持续并发性能测试过程中，客户感知访问应用很慢，监控到的平均响应时间也逐渐变长，这时就需要先借助于监控到的资源指标，首先排除资源方面的限制因素，再从应用本身进行定位，如可以采用页面细分工具分析响应比较慢的页面。

90%Line：响应时间的第90百分位数，即 90%请求响应时间不超过此时间。

90%Line反映的是响应时间顺序排列，处于90%位置的响应时间。这个响应时间越接近平均响应时间，说明前90%的响应时间方差比较小，产品或系统较稳定。

处理时间：指产品或系统得到请求后对请求进行处理并将结果返回所消耗的时间。

下图为一次http请求经过的路径，请求会经过网络发送到web服务器进行处理，如果需要操作DB，再由网络转发到数据库进行处理，然后返回值给web服务器，web服务器最后把结果数据通过网络返回给客户端。

响应时间= (N1+N2+N3+N4)

处理时间=（N2+N3）

吞吐率：吞吐率是指单位时间内产品或系统所处理的用户请求的数量，直接体现软件系统的性能承载能力。一般来说，吞吐率用请求数/秒或页面数/秒来衡量。

从业务的角度来说，吞吐量也可以用访问人数/天或处理的业务数/小时等单位来衡量。

从网络的角度来说，也可以用字节数/天等单位来考察网络流量。

通常从如下几个指标来度量：

事务成功率：单位时间内软件产品或系统可以成功完成多少个定义的事务，在一定程度上反应了软件产品或系统的处理能力，一般以事务成功率来度量。

事务成功率越高，则表明产品或系统处理能力越大；而失败事务主要由于产品或系统响应慢，导致访问功能超时，或者产品或系统功能异常，不能正常访问等，需要根据事务错误提示信息，具体分析。

超时错误率：主要指事务由于软件产品或系统响应缓慢或者内部其它错误导致功能在预定的超时时间内未完成，而造成的错误失败占总事务的比率。

超时错误率是评估产品或系统响应是否缓慢的一个参考指标。

点击率：每秒钟用户向WEB服务器提 交的HTTP请求数。

这个指标是WEB应用特有的一个指标:WEB应用是"请求-响应"模式,用户发出一次申请,服务器就要处理一次,所以点击是WEB应用能够处理的交易的最小单位。

网络吞吐量：指在一次性能测试过程中网络上传输的数据量的总和。

对于交互式应用来说，吞吐量指标反映的是服务器承受的压力，在容量规划的测试中，吞吐量是能够说明系统级别的负载能力。

网络吞吐率：单位时间内网络上传输的数据量，也可以指单位时间内处理客户请求数量。

它是衡量网络性能的重要指标，通常情况下，吞吐率用“字节数/秒”来衡量，也可以用“请求数/秒”和“页面数/秒”来衡量。不同的方式表达的吞吐量可以说明不同层次的问题。例如，以字节数/秒方式表示的吞吐量主要受网络基础设置、服务器架构、应用服务器制约;以请求数/秒方式表示的吞吐量主要受应用服务器和应用代码的制约。

网络丢包率：数据包丢失部分与所传数据包总数的比值。

在性能测试过程中测试网络丢包率，可以检测被测产品或系统所处的网络质量，帮助排除网络的性能瓶颈。网络环境的稳定、富余是支撑产品或系统正常运行的基础。

|| 时间性测试方法 ||

在对时间效率特性进行测试的过程中，首先，要对用户需求进行分析，确定需求方的时间特性需求是响应时间需求还是处理时间需求，或者是吞吐率需求，针对不同需求设计不同的测试方案。

示例：

（1）系统登录操作的响应时间要求在3s以内--属于功能操作响应时间方面的要求；

（2）银行核心系统业务的结息处理操作要求是3h内完成—属于功能的处理时间方面的要求；

（3）要求软件在1min能处理100笔业务请求—属于吞吐率的要求；

其次，使用专用的性能测试工具（如LoadRunner、Jmeter等），模拟软件产品在不同场景下的使用过程，可以通过单元测试、集成测试、接口测试、系统测试等形式进行。

单元测试：主要对软件程序模块进行性能测试

接口测试：主要对软件内外部接口进行性能测试

集成测试：主要对软件不同模块间集成进行测试

系统测试：对整个软件产品进行性能测试

最后，对测试结果进行分析，得出响应时间、处理时间、吞吐率等指标，并根据用户需求对最终结果进行诊断。

如果我有一个小的房子，为了让房间整洁，我必须不断的打包、解包来将生活用品整理起来，并且非常完美的存储在各种储物柜中，确保空间的完美使用。

但是当我有很大的房子的时候，在合理收纳的同时，就可以把东西都放开，让查找和使用它们更加方便。

所以资源利用性的平衡点在于根据整个存储空间资源的情况来合理把握如何打包和存放。

|| 资源利用性定义 ||

是指产品或系统运行时，对服务器端软硬件资源的利用情况。

|| 资源利用性解析 ||

资源利用性指产品或系统执行功能时，所使用资源数量和类型满足需求的程度。

资源利用性主要考察系统所采用的各种资源的利用程度。资源是指支持整个系统运行程序的一切软/硬件平台。一般考察服务器、数据库以及中间件的资源利用情况。

服务器资源利用率可从如下几个指标进行度量：

CPU使用率

一般判断CPU 为瓶颈，主要从两方面：一是CPU空闲持续为0，二是运行队列大于CPU核数(经验值3-4倍)，即可判定存在瓶颈，对于CPU高消耗主要由什么引起的，可能是应用程序不合理造成，也可能是硬件资源不足，需要具体问题具体分析，比如问题SQL语句引起，则需要跟踪并优化引起CPU使用过高的SQL语句。

磁盘I/O

每磁盘I/O数可用来与磁盘的I/O能力进行对比，如果经过计算得到的每磁盘I/O数超过了磁盘标称的I/O能力，则说明确实存在磁盘的性能瓶颈

监控磁盘读写，如果磁盘长时间进行大数据量读写操作，且cpu等待超过20%，则说明磁盘I/O存在问题，考虑提高磁盘I/O读写性能。

内存使用率

一般至少有10%可用内存，内存使用率可接受上限为85%。当空闲内存变小时，产品或系统开始频繁地调动磁盘页面文件，空闲内存过小可能是内存不足或内存泄漏引起，需要根据产品或系统实际情况监控分析。

数据库资源利用率可从如下几个指标进行度量：

缓存命中率：有缓存的查询次数占所有查询次数的比率

缓存命中率越高，则数据库从内存缓存中读取数据的次数越多，从磁盘中读取数据的次数越少，性能相对越高。

数据库连接数：同时连接到数据库服务的客户端连接的数量

若数据库连接数等于最大连接数，表示有应用发起的数据库连接请求处于等待状态，则数据库已成为性能瓶颈；若数据库连接数明显较多，则产品或系统的数据模块可能存在设计缺陷，减少不必要的数据库连接也能提升产品或系统性能。

数据库阻塞数：数据库中处于阻塞的进程数

第一个进程占有资源没有释放，而第二个进程需要获取这个资源。如果第一个进程没有提交或者回滚，第二个进程会一直等待下去，直到第一个进程释放该资源为止。

数据库死锁数：数据库中处于死锁的进程数

在联机事务处理产品或系统中，造成死锁主要有两方面原因。一方面，由于多用户、多任务的并发性和事务的完整性要求，当多个事务处理对多个资源同时访问时，若双方已锁定一部分资源但也都需要对方已锁定的资源时，无法在有限的时间内完全获得所需的资源，就会处于无限的等待状态，从而造成其对资源需求的死锁。

中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。中间件位于客户机/ 服务器的操作系统之上，管理计算资源和网络通讯。如常见的Tomcat, Apache, Nginx, MQ,等都属于中间件。

|| 资源利用性测试方法 ||

使用专用的性能测试工具模拟软件产品在不同场景下的使用情况，同时在软件产品运行过程中使用性能监控工具（如windows的性能监视器、Linix下的iptraf、netstat等）对服务器资源进行监控，收集相关指标，对测试结果进行分析诊断。

众所周知的微博崩溃事件，最近的一次就是赵丽颖和冯绍峰的官宣，因为那天的官宣实在是太突然了，消息太火爆了，我泱泱天朝大国吃瓜群众太多，纷纷前往（看）祝（热）福（闹），奈何微博的“容量”有限，容不下这么多爱吃瓜的网名们，评论、点赞的人太多了，系统直接崩了。

|| 容量定义 ||

是指产品或系统参数的最大限量满足需求的程度。

容量特性包括并发用户容量、带宽容量、业务（交易）吞吐容量、存储容量等方面。

并发用户数：在实际运行环境下系统能够承受的最大并发用户数。

通信带宽：在实际运行环境下，软件能够正常运行的带宽极限。

交易吞吐量：在实际运行环境下系统可能存在的最大事务吞吐量。

存储容量：在实际运行环境下系统可能存在的最大数据容量、数据处理容量。

|| 容量测试方法 ||

首先，对用户需求进行分析，确定需求方的容量需求，确定是存储容量、并发用户容量、带宽容量或者是业务吞吐容量的需求。

示例：

（1）存储容量需求：要求软件能够支持存储1TB的数据量.

（2）并发用户容量需求：要求软件能够支持1000个用户同时并发登录。

（3）带宽容量需求：要求软件能够在10Mb带宽条件下正常运行。

（4）交易吞吐容量需求：要求软件能够在1s内最少处理20笔xx业务。

其次，使用专用的性能测试工具模拟软件产品在不同场景下的使用情况，同时在软件产品运行过程中使用性能监控工具（如windows的性能监视器、Linix下的iptraf、netstat等）对服务器资源进行监控，收集相关数据。

最后，对测试结果进行分析，检查容量指标是否满足需求，分析造成容量指标不符合需求的进程或参数配置信息。

|| 依从性定义 ||

产品或系统遵循与吸能效率相关的标准、约定或法规以及类似规定的程度。

|| 依从性测试方法 ||

确认产品或系统是否遵循产品说明、用户文档集中涉及到的性能效率要求。

确认产品或系统以及相关文档，是否遵循行业内与性能效率相关的标准、约定或法规。