【航空标准化】浅议航空武器装备软件测评质量评估方法

2.2测评技术过程

航空软件测评技术过程，主要包括测试需求分析、测试策划、测试设计与实现、测试执行、测试总结等环节开展的测评技术活动。测试需求分析针对被测软件测试需求的充分性以及测试类型选取的充分性进行评估。测试策划主要对测试组织设置的合理性、测试进度估计的有效性、测试环境构建的合理性，以及对测试需求的跟踪性等方面进行评估。测试用例设计与实现是软件测评开展的关键阶段，测试用例的有效性依赖于测试环境支持情况，测试用例充分性取决于用例对软件所有功能点的覆盖情况，测试用例设计效率依赖于测试团队人员能力水平等。测试执行主要是按照测试计划进行测试，测试执行的有效性依赖于测试用例缺陷的发现率、有效性和检错率等，测试执行的充分性取决于测试用例对需求的覆盖率、用例执行率、代码走查/审查力度的检错率等，测试执行的效率依赖于代码审查的效率、测试人员的工作效率等。测试总结是对测试工作和被测软件进行分析和评价，分类和总结测试结果及软件缺陷，报告软件测评过程和结果。

测评技术过程的质量可以从测试充分性、测试有效性、测试效率三个维度进行度量考核。测试充分性的度量可以分解为测试需求充分性、测试类型充分性、代码走查审查充分性、测试用例设计充分性、动态测试充分性等五个二级指标度量；测试有效性的度量可以分解为测试环境搭建有效性、测试用例实际有效性、测试执行有效性等三个二级指标度量；测试效率可以分解为测试用例设计效率、测试执行效率、测试项目效率等三个二级指标度量。

3构建航空软件测评质量评估模型及实例验证

3.1 航空装备软件测评质量评估模型

从航空软件测评管理过程和技术过程两个维度，分析影响测评质量的主要因素，总结提炼出二级度量指标，构建航空软件测评质量评估模型如下（如图1所示）。

图1 航空软件测评质量评估模型

3.2 实例验证

以一个实际的航空软件测评项目为实例，对软件测试项目管理的质量和测试过程充分性、有效性、效率的量化评估模型及其技术实现进行验证。由于软件配置项测试过程具有典型性并且测试类型齐全，另外航空软件多为嵌入式软件，故选取某型装备嵌入式软件配置项测试进行说明。

被测软件基本情况如下：被测软件类型为嵌入式软件、规模11009行、开发语言为C、开发平台为VC33（芯片的开发平台）、测试级别为配置项测试、使用的测试工具为Klockwork9.2。

在该实例测试工作完成后，采集实例测试过程基础数据。本次测试项目设计并执行测试用例数为790个，发现软件缺陷共83个（致命缺陷1个，严重缺陷4个，一般缺陷78个），动态测试发现缺陷数为64个，代码审查发现软件缺陷数为19个，测试总工时为582人时，需求涉及的测试类型为11种。

实例中的软件测评项目总体评价通过测评项目管理质量和测试充分性、测试有效性、测试效率四个方面进行评价，得到以下评价结论，见表1。测评项目管理质量等级为{差 一般 较好 好}，对应分值为[0,0.5]、[0.5,0.8]、[0.8,0.9]、[0.9,1]；测试充分性等级为{不充分、基本充分、较充分、充分},对应分值为[0,0.6]、[0.6,0.8]、[0.8,0.9]、[0.9,1]；测试有效性等级为{无效、基本有效、较好、好},对应分值为[0,0.5]、[0.5,0.7]、[0.7,0.9]、[0.9,1]；测试效率等级为{无效、低、中、高},对应分值为[0,0.3]、[0.3,0.6]、[0.6,0.8]、[0.8,1]。本测评项目质量评价最终得分为[0.35 0.35 0.2 0.1]*[0.98 0.81 0.54 0.64]=0.80。

4 总结提升航空软件测评质量的建议

4.1 建立航空软件测评项目资产库

航空武器装备软件第三方测评、鉴定测评、定型测评，积累了大量的测评项目数据和历史资料，在对这些数据进行整理、归类、分析的基础上，建立航空软件测评项目资产库。一方面可以为项目决策提供依据，对项目的规模、进度、成本的评估提供参考；也可以与类似项目进行数据比对，借鉴、引用、复用资产库中的项目资源，为项目的持续改进提供帮助。另一方面为了探查软件测评发现的深层次的设计问题，提高软件质量管理能力，将大量数据进行深度挖掘，整合历史数据，加工转化成知识库，达到软件质量管理数据资产化、知识化目的，从而进行影响域分析、编制预示性的质量规则、实现通知报警、趋势分析以及决策管理，将从一定程度上预防软件问题的发生，减少修复软件缺陷的成本，进而提高航空软件产品质量。资产库的建立可以为测评任务分包提供依据，为监督测评项目进展提供手段，为测评单位交流共享测评经验提供平台。

4.2 规范航空软件测评机构管理

当前，软件测评机构在技术能力、管理水平等方面良莠不齐，给主管部门和决策机关评价、选择测评机构带来不少困难。为了规范软件测评机构管理，提升软件测评质量，应建立完善机制，加强对软件测评机构的评价。督促测评机构建立质量管理体系，并按要求开展软件第三方测评。测评机构应依据GJB2725A《测试实验室和校准实验室通用要求》，建立并规范软件测评全过程。研究提出软件测评能力成熟度模型，对软件测评机构进行评价和审查。通过对软件测评情况进行跟踪问效，尤其是在航空装备交付部队使用后，收集因软件造成的技术质量问题，统计分析因测评质量不过关引起的比例，及时反馈软件测评机构，建立软件测评质量信息闭环沟通机制。一方面，有利于软件测评机构及时知悉测评软件的实用质量，不断迭代改进软件测评工作；另一方面，也有利于主管机关了解掌握测评机构的工作质量，为科学评价管理测评机构提供有力支撑。

4.3 加强航空软件测评质量监督

当前，软件质量监督已上升为军代表质量监督工作的重要内容，但软件测评质量监督，军代表参与不够，是个质量监督的“盲区”。作为军代表，加强航空软件测评质量监督，应在以下三方面下功夫。一是明确软件测评质量监督职责。在测评过程各阶段，明确审查文件的类别和评审内容，并提出合理建议；参与软件定型（鉴定）测评，监督研制单位的软件配置管理和缺陷修复、归零工作，把关回归测试质量；协调测评机构与研制方、总体单位等各方在测评进度、测评资源等方面的问题，保证测评项目顺利实施。二是严格把控软件测评条件准入。按照航定〔2012〕4号《航空军用软件定型测评进入条件评估标准》，开展软件测评前的审查把关，确认测评条件、测评环境建立，督促研制单位按程序开展软件自测试、内部评审和提交审查。三是加强军方监督方的内部沟通。军方决策机关、研究院，驻研制方、测评方、总体单位军代表，相互之间应建立测评信息沟通机制，可以参照GJB3889《大型复杂装备军事代表质量监督体系工作要求》，建立软件测评质量监督管理体系，加强航空装备软件测评工作的沟通和协调，合力提升软件测评质量。

4.4 构建航空软件测评管理体系

国内目前还没有建立基于DO-178B系列标准的航空软件测评实施规范，因此在分析借鉴适航标准中对软件验证要求的基础上，建立适合我国航空武器装备现状的软件管理体系，将有利于航空软件测评质量的提升。从软件测评技术的角度，重点关注软件的功能验证，主要包括基于需求的功能测试和分析，性能和可靠性测试，代码的结构覆盖率分析。与之相对应的是审查、分析和测试三种技术，以及静态审查和分析、单元测试、集成测试、系统测试、确认测试等五个测试级别。参考DO-178B中测试目标要求与软件测试的对应关系，可以建立符合DO-178B的软件开发与软件验证关系，规范指导软件测试工作。从软件测评过程的角度，重点关注测试需求分析、测试策划、测试设计与实现、测试执行和测试总结等五个阶段。结合适航标准，可以建立五个测评阶段与测评文档之间的映射关系，细化明确测评过程，规范指导测评工作。从以上两个角度，制定软件测评技术和过程实施方案，规范构建软件测评管理体系，全面提升航空软件测评质量。

5结束语

依托国内软件测评中心积累的大量软件测评项目历史数据和测评项目实施案例，在研究软件测评通用过程模型和测试技术基础上，结合航空软件嵌入式、实时性、高安全性等特点，研究了影响软件测评质量的因素，建立了航空武器装备软件测评质量的度量指标体系和量化评估模型，评价了软件测试的充分性、有效性、效率和测评项目管理质量，提出了提升软件测评质量的途径和方法，最终达到提高航空武器装备软件测评质量的目标。对规范提升软件测评单位的测评工作质量、加强军方对软件测评质量的监督管理，都具有很好的理论引导和应用价值。

稿件来源：《航空标准化与质量》期刊返回搜狐，查看更多