某某项目SDV软件测试报告范例

说明：本范例为符合CMMI 5级要求的范例

Prepared by 拟制	小张	Date 日期	2008-04-09
Reviewed by 评审人	小丽、小王、小李、小莉、小三、小四、小猪、小猫、小狗、小强	Date 日期	2008-04-14
Approved by 批准	小张	Date 日期	2008-04-24

Revision Record 修订记录

Date 日期		Revision Version 修订版本		Sec No. 修改章节		Change   Description 修改描述		Author 作者
	2008-04-09		draft		全文		初稿		小王&小欢
	2008-4-15		V1.00		全文		根据第一轮评审意见修改		小刘

Table of Contents 目录

1    概述... 5

2    测试时间、地点及人员... 6

3    环境描述... 6

3.1      硬件配置：... 7

3.2      软件配置：... 8

4    测试对象质量评估... 8

4.1      总体评价结论... 8

4.2      测试设计、执行和缺陷统计... 8

4.3      测试产品评估... 11

4.3.1     测试趋势分析结果... 11

4.3.2     质量评价结果... 11

4.3.3     测试需求覆盖率统计... 16

4.3.4     性能测试评估... 16

4.3.5     可用性评估... 17

4.3.6     兼容性评估... 18

4.3.7     文档评估... 18

4.3.8     遗留问题风险分析与规避措施... 18

4.4      测试过程评估... 18

4.4.1     测试设计评估... 18

4.4.2     测试执行评估... 19

5    附件... 20

5.1      附件1：遗留问题报告... 20

5.1.1     遗留问题统计... 21

5.1.2     遗留问题列表... 21

5.1.3     其他风险和规避措施... 21

5.2      附件2：交付的测试工作产品... 21

5.3      附件3：测试项通过情况清单... 21

5.4      附件4：测试发现的所有问题列表与分析... 21

5.5      附件5：辅助数据分析表... 21

Table List 表目录

表 1  测试时间、地点及人员........................................................................................................... 6

表 2  硬件配置表............................................................................................................................ 7

表 3  软件配置表............................................................................................................................ 8

表 4 SDV阶段缺陷统计表.............................................................................................................. 8

表 5  版本缺陷统计......................................................................................................................... 9

表 6  模块缺陷统计......................................................................................................................... 9

表 7 SDV阶段测试效率与测试用例密度统计表............................................................................. 10

表 8 SDV阶段测试执行统计表...................................................................................................... 10

表 9  假设检验结果记录表............................................................................................................. 12

表 10  各阶段目标缺陷数 VS 各阶段实际缺陷数........................................................................... 13

表 11  各模块质量评价.................................................................................................................. 14

表 12  覆盖率统计......................................................................................................................... 16

表 13  界面满意度假设检验........................................................................................................... 17

表 14 风险分析与规避措施............................................................................................................ 18

表 15  测试效率整体提升假设检验................................................................................................ 20

表 16  测试交付件列表.................................................................................................................. 21

FigureList 图目录

图 1  测试组网图............................................................................................................................ 7

图 2  累积发现缺陷趋势图............................................................................................................. 11

图 3  与历史项目模块的缺陷密度作对比........................................................................................ 12

图 4 SDV 3轮测试版本缺陷密度目标值 VS 实际值....................................................................... 13

图 5  各个阶段应发现缺陷数 VS 实际发现缺陷数.......................................................................... 14

图 6  四象限法对模块质量的分析.................................................................................................. 14

图 7  模块质量U图分析................................................................................................................. 15

图 8  模块质量Z图分析.................................................................................................................. 16

图 9  与历史项目的测试用例密度作对比........................................................................................ 19

图 10  与历史项目的测试效率对比................................................................................................ 19

1     概述

某某项目是对目前市场上零散的消息类产品、业务进行整合，提出的一套综合性解决方案。通过对目前产品业务的交叉组合，从而形成新的特色，提高用户的综合性体验。本版本在V100R001C01B063基础上，扩充了消息传播业务相关功能，引入了多个媒体的彩信支持以及短信识别和彩信识别策略，以文本、媒体内容识别技术为核心，以短信、彩信传播积分为业务手段，支持原创上传、多级积分，结合各类排行榜、抽奖榜等功能，为运营商提供了一个消息传播业务活动组织的一个平台。本版本主要迎合北京2008年奥运，为运营商提供了一个开展奥运增值业务活动的平台。后续也可以用于其他节日欢庆活动以及各类消息传播业务活动。

本文为某某项目V100R001C01B063版本的SDV测试报告，被测对象为：

基本功能测试：

l   活动管理

l   种子管理

l   报表功能

l   过滤功能

l   内容识别

l   支持消息传播业务

l   用户管理

l   支持告警

l   新增模块参数支持

l   过期注销用户删除

l   支持用户销户

性能具体列表：

本次测试从2008-3-17到2008-4-9完成SDV测试，一共执行17个工作日，严格按照《某某项目V100R001C03B500 SDV测试计划》、《某某项目V100R001C03B500 SDV测试方案》、《某某项目V100R001C03B500 SDVC》进行SDV的测试执行。

2     测试时间、地点及人员

表1  测试时间、地点及人员

版本名称	测试时间		测试人员	测试地点
	起始时间	结束时间
SDV第一轮测试	2008-3-17	2008-3-26	小张、小三、小二、小婷、小三、小四	有限公司
SDV第二轮测试	2008-3-28	2008-4-2	小五、小六、小七、小八、小九、小十	有限公司
SDV第三轮测试（含回归测试）	2008-4-3	2008-4-9	小莉、小李、小丽、小刘、小妞	有限公司
SDV性能测试	2008-4-3	2008-4-9	小强

 

3     环境描述

本系统是一个Ｂ/Ｓ结构的系统，客户端是使用的普通PC机器，系统只支持中文的IE6.0浏览器。服务器端运行在PC Server（DELL）的SUSE LINUX操作系统中，具体的环境参见(3.1章、3.2章)。

性能测试在客户方进行，使用的是客户方的环境，所以性能测试的具体环境不在本文档中描述。

本系统的测试组网图如下：

图1  测试组网图

注明：(1) 图中红色标注的模块的为本版涉及到新增和修改的模块。

(2) 本次测试严格按测试组网图执行，并确保了测试环境独立、干净。

(3) 以上的测试环境得到客户认可，且本项目基线版本也在该环境中进行SDV测试并通过了客户验收，可保证测试的充分性。

3.1     硬件配置：

表2  硬件配置表

资源	描述	数量
PC机（DELL）	CPU ：Pentium（R） 4     3.0GHz，1.0GB的内存 硬盘：160G SATA 内存：1G DDR2	6
服务器PC Server（DELL）	CPU ：Pentium(R) Dual E2160 1.80GHz(双核) 硬盘：160G SATA 内存：2G DDR2 × 2	2
服务器PC Server（DELL）	CPU ：Pentium(R) Dual E2160 1.80GHz(双核) 硬盘：160G SATA 内存：2G DDR2	2

3.2     软件配置：

表3  软件配置表

资源	描述	数量
SUSE  Linux 9(SP2)企业版	操作系统	4
DB2  8.2.2FixPack 12	Database数据库	4
Loadrunner  8.0	性能测试工具	1
Window  XP	客户PC机使用操作系统	6
IE6.0中文版	浏览器	6
IsmgEmluator	CMPP协议-网关模拟工具	1
MessageEditor	MMSC到MCIS发送消息的模拟工具	1
Purify7.0	运行期间代码检查工具	2
某某项目V100R001C01B063	某某项目基线版本	1

4     测试对象质量评估

4.1     总体评价结论

从需求符合度、功能正确性、性能指标、运行稳定性、可用性、风险评估等多个维度对版本质量进行总体评价是：最终交付客户的版本质量因SDV测试缺陷发现趋势已呈强收敛趋势，因而比较稳定，总体来看不会影响客户试用，不过种子管理模块与其他模块相比，可能会遗漏7个缺陷没有测出。

详细描述请见下面各相关章节的内容。

4.2     测试设计、执行和缺陷统计

本项目代码规模为：38.7KLOC，SDV阶段统计如下表所示。

表4  SDV阶段缺陷统计表

版本号	致命	严重	一般	提示	总计 (含提示问题)	总计 (不含提示问题)	累计缺陷总数 (不含提示问题)	缺陷密度 （=(致命+严重+一般)/规模）	缺陷密度目标
SDV阶段	2	44	267	42	355	313	1134	8.08	5

SDV第一轮~SDV第三轮（含第三轮回归）的数据如下表所示。

表5  版本缺陷统计

版本号	致命	严重	一般	提示	总计 (含提示问题)	总计 (不含提示问题)	累计缺陷总数 (不含提示问题)	缺陷密度 （=(致命+严重+一般)/规模）	缺陷密度目标
SDV第一轮测试	1	38	175	24	238	214	214	5.53	4.0
SDV第二轮测试	1	4	75	14	94	80	294	2.07	1.0
SDV第三轮测试	0	2	17	4	20	19	313	0.49	0.0
SDV第三轮（回归测试）	0	0	0	0	0	0	313	0	-

表6  模块缺陷统计

模块/特性	规模 (KLOC)	致命	严重	一般	提示	总计 (含提示问题)	总计 (不含提示问题)	工具发现缺陷数	缺陷密度
活动管理	3.8	0	5	21	3	29	26	13	6.84
种子管理	3.8	0	2	11	6	19	13	6	3.42
报表功能	2	0	3	26	2	31	29	19	14.50
过滤功能	3.1	0	2	13	2	17	15	3	4.84
内容识别	2	0	4	12	2	18	16	10	8.00
支持消息传播业务	2.2	1	3	9	1	14	13	0	5.91
用户管理	3.7	0	3	24	3	30	27	18	7.30
支持告警	7.4	0	11	80	12	103	91	0	12.30
新增模块参数支持	4.1	1	6	29	8	44	36	0	8.78
过期注销用户删除	3.1	0	3	25	2	30	28	2	9.03
支持用户销户	2.6	0	2	17	1	20	19	0	7.31
Average									8.02
Stdev									3.16

表7  SDV阶段测试效率与测试用例密度统计表

模块	SDV用例数（个）	SDV执行时间（小时）	测试效率	规模	测试用例密度
活动管理	400	49	8.16	3.8	105.26
种子管理	610	55	11.09	3.8	160.53
报表功能	530	45	11.78	2	265.00
过滤功能	308	46	6.70	3.1	99.35
内容识别	410	55	7.45	2	205.00
支持消息传播业务	190	23	8.26	2.2	86.36
用户管理	300	44	6.82	3.7	81.08
支持告警	560	69	8.12	7.4	75.68
新增模块参数支持	180	28	6.43	4.1	43.90
过期注销用户删除	125	23	5.43	3.1	40.32
支持用户销户	196	28	7.00	2.6	75.38
Average			7.93
Stdev			1.93

表8  SDV阶段测试执行统计表

模块	测试用例规模				用例执行							缺陷数
	总用例数	初始用例总数	新增用例数	废弃用例数	可执行用例数	手工执行	自动执行	OK项	POK项	NG项	NT项	非用例发现缺陷数	用例发现缺陷数	缺陷总数
活动管理	400	400	0	0	400	200	200	400	0	0	0	0	29	29
种子管理	660	634	26	50	610	430	180	560	0	0	0	4	15	19
报表功能	530	530	0	0	530	333	197	530	0	0	0	0	31	31
过滤功能	308	308	0	0	308	255	53	308	0	0	0	0	17	17
内容识别	410	410	0	0	410	200	210	410	0	0	0	0	18	18
支持消息传播业务	190	190	0	0	190	190	0	190	0	0	0	0	14	14
用户管理	300	300	0	0	300	150	150	300	0	0	0	0	30	30
支持告警	560	560	0	0	560	560	0	560	0	0	0	0	103	103
新增模块参数支持	180	180	0	0	180	180	0	180	0	0	0	0	44	44
过期注销用户删除	137	131	6	12	125	113	12	113	0	0	0	6	24	30
支持用户销户	196	196	0	0	196	196	0	196	0	0	0	0	20	20
总数	3871	3839	32	62	3809	2807	1002	3747	0	0	0	10	345	355

4.3     测试产品评估

4.3.1    测试趋势分析结果

通过对版本的缺陷数据进行分析，观察累积发现缺陷趋势，我们可以看出缺陷的发现随着版本，新缺陷的发现呈快速收敛趋势而非发散趋势，说明产品版本的质量逐步趋于稳定，如下图所示。

图2  累积发现缺陷趋势图

4.3.2    质量评价结果

4.3.2.1质量总体评价

我们将本项目SDV阶段模块的缺陷密度放入组织级SDV缺陷密度PPB中进行分析，发现本项目模块的缺陷密度普遍偏高，平均水平在组织缺陷密度的过程能力水平中属于异常点，需要进一步进行分析。

图3  与历史项目模块的缺陷密度作对比

表9  假设检验结果记录表

	Sample Size	n	11
	Mean of the Sample	X	8.02
	Standard Deviation of the Sample	s	3.16
	SDV缺陷密度满足组织PPO的要求，可以接受	Null Hypothesis: mu <= 5.30	5.3
SDV缺陷密度不满足组织PPO的要求，需要分析		Alternate  Hypothesis: mu =/= 5.30	Two-Tailed
Confidence Level for a Population  Mean		95%	1.96
z, standard score for the observed  mean = (X - mu)/(standard deviation of the distribution)		z	2.854816275
Probability value of randomly  selecting a sample size n 11 from this distribution with a sample mean X  of  8.02		P-value Two-Tailed	0.004306
For  a Two-Tailed Hypothesis Test, at the 0.05 significance level, we reject the  null hypothesis if the Standard Score z 2.854816 <= -1.96 or => 1.96		Null Hypothesis: mu = 5.30	Reject

由假设检验的结果可以看出，本项目的SDV缺陷密度不满足组织SDV缺陷密度PPO的要求，确实偏高，需要进一步分析。

图4  SDV 3轮测试版本缺陷密度目标值 VS 实际值

通过数据分析，我们可以得到通过SDV 3轮测试，SDV阶段总的缺陷密度为8.09 个/KLOC，远远高于SDV计划中设定的SDV阶段总缺陷密度5.0个/KLOC的目标；而对于SDV每一轮的测试，我们通过图3可以看到，每一轮缺陷密度的实际值都高于计划中该轮的目标值，尤其是SDV第3轮仍是能发现新缺陷的，并不符合当初SDV 第3轮零缺陷的目标。

通过和开发团队的简单PSP，大家一致认为：SDV缺陷密度较高(1)是由于UT、ST测试不够充分引起的，由于前两个阶段可能存在85个缺陷还没有被充分发现，被带到了SDV阶段；(2)加上本项目的SDV阶段使用了新的测试工具某某工具，能更有效的发现一些数据库方面的问题，所以导致SDV阶段的缺陷密度较高。不过缺陷已呈收敛趋势，且累积实际发现总缺陷比应发现总缺陷高，产品质量总体来看，不会影响交付使用。

PSP结果如下：

表10  各阶段目标缺陷数 VS 各阶段实际缺陷数

版本号	各阶段缺陷密度目标值(个/KLOC)	各阶段应发现缺陷数(个)	项目实际各阶段缺陷密度(个/KLOC)	各阶段实际发现缺陷数(个)
SRS	8.4	325	9.1	352
LLD	7.1	275	6.5	252
Coding	6.3	244	6	232
UT	4.1	159	2.9	112
ST	2.7	104	1.7	66
SDV	5.30	194	8.09	313
总缺陷数	-	1300	-	1327

图5  各个阶段应发现缺陷数 VS 实际发现缺陷数

4.3.2.2各模块质量具体评价

[方法一]

对项目模块进行四象限法分析，如下图所示：

图6  四象限法对模块质量的分析

表11  各模块质量评价

模块	质量评价	备注
活动管理	相对正常
种子管理	测试用例执行速度快，缺陷密度也很低。本模块是经验较丰富的开发人员编写的，可能编写质量相对较好，导致缺陷较少，也可能存在测试不够充分的质量风险	与PPO 5.30预测出的应发现缺陷数相比少7个，即可能隐含7个的未测出问题。
报表功能	测试用例执行速度快（自动化测试工具帮助比较大），缺陷密度很高，被充分测试，质量风险较小
过滤功能	相对正常
内容识别	相对正常
支持消息传播业务	相对正常
用户管理	相对正常
支持告警	测试用例执行速度正常，缺陷密度较高，可能测试比较充分，可能开发质量不够好	需要进一步信息进行分析
新增模块参数支持	相对正常
过期注销用户删除	测试用例执行速度比较慢，缺陷密度正常，可能在测试执行方面存在问题，不过对产品质量影响不大	需要对测试执行做进一步的分析
支持用户销户	相对正常

[方法二]

对项目模块进行U,Z分析，如下图所示：

图7  模块质量U图分析

图8  模块质量Z图分析

从模块质量的U图上可以看出，支持告警模块是例外点；而从Z图上来看，支持告警模块转化为Z值后的值为4.02，超出了±3的范围，是例外点，需要进行分析。

通过与开发团队的分析知道，支持告警模块的开发人员经验比较少，所以缺陷密度较高，不过该部分功能简单，测试的设计和用例执行都很充分，测试后的质量可以得到保证。

4.3.3    测试需求覆盖率统计

表12  覆盖率统计

模块	覆盖率统计	备注
活动管理	100%
种子管理	100%
报表功能	100%
过滤功能	100%
内容识别	100%
支持消息传播业务	100%
用户管理	100%
支持告警	100%
新增模块参数支持	100%
过期注销用户删除	100%
支持用户销户	100%
性能测试需求	100%

4.3.4    性能测试评估

本项目性能测试属于指标类测试，各项指标全部达标，具体结果如下所示：

4.3.5    可用性评估

本项目随机调查了20个人员对界面的第一感观，感觉不错的有18个人，感觉不太好的有2个人，根据假设检验的结果，我们可以认为正式投入上线使用时，大部分人对界面还是比较满意的。不满意的2个人，1个人认为奥运版本的主题色应该是火红色的（不过感觉不错的18个人对蓝色清凉界面很满意），另1个人认为提交界面上的按钮太小。

表13  界面满意度假设检验

Sample Size.  n <= N if N is known.	n	20
# of the Sample  Size who agree/disagree <= n		18
Confidence Level  for a Population Proportion	95%	1.96
Sample Proportion  ^p of Sample Size n 20 who agree/disagree	^p	90.0000%
Margin of Error  formula requires n * ^p >= 5	n * ^p	18
Margin of Error  formula requires n * (1-^p) >= 5	n * (1-^p)	2
一般人对界面的第一印象不好	Null Hypothesis: p  <= 70.00%	70.0000%
One-Tailed Hypothesis Test for a Population Proportion
一般人对界面的第一印象还不错	Alternate  Hypothesis: p > 70.00%	Right
Confidence Level  for a Population Proportion	95%	1.645
Finite Population  Size,	N	0
Sample Size.  n <= N if N is known.	n	20
Sample Proportion  ^p of Sample Size n 20 who agree/disagree	^p	90.0000%
Standard deviation  of the distribution of sample proportions = SQRT((p * (1-p))/n) * fpc	standard deviation	0.102469508
z, standard score  for the observed proportion = (^p - p)/(standard deviation)	z	1.951800146
For  a One-Tailed Test, at the 0.05 significance level, we reject the null  hypothesis if the Standard Score z 1.951800 >= 1.645	Null Hypothesis: p  <= 70.00%	Reject

4.3.6    兼容性评估

本项目SDV测试不对兼容性进行评估。

4.3.7    文档评估

本项目SDV测试不对文档进行评估。

4.3.8    遗留问题风险分析与规避措施

4.3.8.1遗留问题

无

4.3.8.2风险分析与规避措施

表14风险分析与规避措施

风险	规避措施	备注
测试用例执行速度快，缺陷密度也很低，质量存在风险，与PPO 5.30预测出的应发现缺陷数相比少7个，即可能隐含7个左右的未测出问题。	（1）    提醒客户种子管理模块存在风险 （2）    加强我司参与验收测试时针对种子模块的测试力度。

4.4     测试过程评估

4.4.1    测试设计评估

测试用例统计数据表见4.2测试设计、执行和缺陷统计章节。

从新增、废弃的测试用例角度来看测试用例设计的有效性：

测试用例变更率 = (新增测试用例+废弃测试用例) / 测试用例总数 = 2.43%

从用例发现缺陷数的角度来看测试用例设计的有效性：

用例设计有效性 = 通过用例发现缺陷数 / 缺陷总数 = 97.18%

图9  与历史项目的测试用例密度作对比

通过与组织历史项目的用例密度作比对，发现本项目的用例设计密度较高，超出组织测试用例设计密度上限，是异常点，需要进一步分析。结合用例设计的有效性和测试用例变更率来看，用例变更的比例不大且绝大部分的缺陷都是通过测试用例来发现的，并没有出现大量废弃、大量新增的情况，总体测试用例设计还是有效的，之所以高出组织的上限是因为采用了自动化测试工具，在测试用例的设计粒度上与以往项目要求不同，所以自动化测试用例数目增加了不少，导致最终测试用例设计密度比较高。

4.4.2    测试执行评估

本项目的测试效率放入组织级PPB进行分析，发现本项目整体的测试执行效率较高，在组织级下限以外，是因为我们应用了某某自动测试工具，提高了测试执行效率。

图10  与历史项目的测试效率对比

表15  测试效率整体提升假设检验

Sample Size	n	11
Mean of the Sample	X	7.93
Standard Deviation  of the Sample	s	1.93
测试效率没有很大的提高，自动化测试工具没有太大的帮助	Null Hypothesis: mu  <= 4.00	4
测试效率有很大的提高，自动化测试工具有帮助	Alternate  Hypothesis: mu > 4.00	Right
Confidence Level  for a Population Mean	95%	1.6448536
Standard deviation  of the distribution of sample means = s/sqrt(n)	standard deviation  of the distribution	0.5819168
z, standard score  for the observed mean = (X - mu)/(standard deviation of the distribution)	z	6.7535416
This standard score  of 6.75 has a percentile of 100.0000%	percentile	100.00%
Probability value  of randomly selecting a sample size n 11 from this distribution with a sample  mean X of  7.93	P-value  Right-Tailed	0.000000
Sample  mean X = 7.93 has a standard score of 6.75, a percentile of 100.0000% and a P  value of 0.000000
For  a One-Tailed Hypothesis Test, at the 0.05 significance level, we reject the null hypothesis if the  Standard Score z 6.753542 >= 1.64	Null Hypothesis: mu  <= 4.00	Reject

通过假设检验，可以看到测试效率与组织PPB相比，有统计性的显著提升，可以看出自动化测试工具对提升测试效率确实有很大帮助。

在四象限分析中曾发现过期注销用户删除模块测试执行方面可能存在问题，经分析该模块由新人负责，对测试的流程还不是十分熟悉，执行用例填写和填写缺陷会相对其他人慢一些，所以测试执行效率比其他人慢。

5     附件

5.1     附件1：遗留问题报告

5.1.1    遗留问题统计

无

5.1.2    遗留问题列表

无

5.1.3    其他风险和规避措施

请参见4.3.8.2 风险分析与规避措施部分。

5.2     附件2：交付的测试工作产品

表16  测试交付件列表

Name 名称	Author 作者
某某项目 V100R001C03B500SDV测试用例	小莉、小张、小小、小婷、小强、小丽
某某项目 V100R001C03B500SDV测试用例 Review汇总表单	小二、小三
某某项目 V100R001C03B500SDV1测试报告	小四、小五
某某项目 V100R001C03B500SDV2测试报告	小刘、小六
某某项目 V100R001C03B500SDV测试报告	小七、小八
某某项目 V100R001C03B500SDV测试报告 Review汇总表单	小九、小十

5.3     附件3：测试项通过情况清单

详见交付件中的测试用例执行报告。

5.4     附件4：测试发现的所有问题列表与分析

详见交付的缺陷列表。

5.5      附件5：辅助数据分析表