Test Case Design Method - OATS

[转载]

OATS：即Orthogonal Array Testing Strategy，正交表测试策略。

1      OATS的概念：

次数（Runs）：简单的说，就是次数是多少，就有多少个用例。

因素数（Factors）：简单的说，就是有多少个变量。

水平数（Levels）：比如有三个变量，其中变量取值最多的是四个值，那么水平数就是四。

强度（Strength）：即变量间的相互关系，当强度为二时，只考虑变量两两之间的影响，如果强度为三，同考虑三个变量对结果的影响；当强度增加时，用例的个数会急剧增加。

正交表的表现形式： L _runs（levels^factors  ）

介绍混合水平数正交表的知识，混合水平数的正交表中的因素数的水平数是不同的，比如，有5个变量，一个因素数的水平数为4，另外四个因素数的水平数为2，则用正交表表示如下：

L ₈（4¹×2⁴）

2       OATS的好处：

对有些组合测试，我们可选择的一种测试途径是测试所有变量的迪卡尔积（即统计学中的全面搭配法），无疑，这种方式得到的是所有变量、所有取值的完全组合，是最全面的测试。而在变量多的情况下，这无疑也是最不可能实现的方法，所以我们要选择一种方法，即可以测试大部分的BUG，又能极大的缩短我们的时间，正交表是我们的选择：

其特点为：

①     完成测试要求所需的测试用例少。

②     数据点的分布很均匀。

③     可用其他统计学的方法等对测试结果进行分析。

OATS用来设计测试用例的方法如下的好处：

1，可以组合所有的变量；

2，得到一个最小的测试集，这个集合，包括最少的测试用例，并且，包括了所有变量的组合,

3，得到的变量的组合是均匀的分布的（这一点可以参照上面的正交表的特点）；

4，可以测试用一些复杂的组合；

5，它生成的测试用例是有迹可循日，即有规律的，不像手工测试那样会遗漏一些用例的组合。

3       选择OATS的基本原则

一般都是先确定测试的因素、水平和交互作用，后选择适用的正交表。在确定因素的水平数时，主要因素应该多安排几个水平，次要因素可少安排几个水平。

（1）先看水平数。若各因素全是2水平，就选用L(2^＊)表；若各因素全是3水平，就选L(3^＊)表。若各因素的水平数不相同，就选择适用的混合水平正交表。

（2）每一个交互作用在正交表中应占一列或二列。要看所选的正交表是否足够大，能否容纳得下所考虑的因素和交互作用。为了对试验结果进行方差分析或回归分析，还必须至少留一个空白列，作为“误差”列，在极差分析中要作为“其他因素”列处理。

（3）要看测试精度的要求。若要求高，则宜取测试次数多的正交表。

（4）若测试费用很昂贵，或测试的经费很有限，或人力和时间都比较紧张，则不宜选实验次数太多的正交表。

（5）按原来考虑的因素、水平和交互作用去选择正交表，若无正好适用的正交表可选，简便且可行的办法是适当修改原定的水平数。

（6）对某因素或某交互作用的影响是否确实存在没有把握的情况下，选择L表时常为该选大表还是选小表而犹豫。若条件许可，应尽量选用大表，让影响存在的可能性较大的因素和交互作用各占适当的列。

4       OATS的步骤：

1，先要知道你有多少个变量，这个不用说了，很简单的就能确定了。它对应到正交表的概念中的因素数。

2，查看每个变量的测试取值个数（这里我用a代替，以方便后面调用），这个取值不是说这个变量的取值范围中包括多少个值，而是用等价类划分出来的。关于等价类的方法，这里就不说了。

3，选择正交表，我们选择正交表时，要满足两点：因素数（即变量个数）和水平数。在选择正交表的时候，要保存：

A、正交表的列不能小于变量的个数；

B、正交表的水平数不能小于a。

4，拿着自己的因素数和水平数，去找对应的正交表，按3中说的原则，现在正交表有一部分已经在网上公布了，在很大程度上已经够设计测试用例用了，如果你的情况太特殊，也可以考虑自己去推算。

5，如果你选择的正交表中某个因素数有剩余的水平数，就拿这个因素数的值从上到下循环代进去。以增加发现缺陷的机会。

6，按次数设计用例，每次数对应一个用例。设计完成后，如果觉得有些组合是可能会有问题的，而正交表中又没有包括，那就增加一些用例。

5       OATS的实例：

5.1    实例

下面介绍一个混合正交表的例子：

变量个数：4个　　分别为：A、B、C、D。

取值为：

A－＞3个值（A1、A2、A3）、

B－＞4个值（B1、B2、B3、B4）、

C－＞4个值（C1、C2、C3、C4）、

D－＞4个值（D1、D2、D3、D4）。

把上述数值对应到正交表的概念中去，如下：

因素数：4

水平数：其中3个变量的水平数为4，1个变量的水平数为3。

对应到正交表中写法如下：

L _runs（3^1 ＋ 4^3）

1，  只考虑强度为：2的情况。

A、 其对应的正交表如下：

Runs  A   B   C   D

1  |    1   1   1   1

2  |    2   2   2   2

3  |    3   3   3   3

4  |    -   4   4   4

5  |    1   2   3   4

6  |    2   1   4   3

7  |    3   4   1   2

8  |    -   3   2   1

9  |    1   3   4   2

10  |    2   4   3   1

11  |    3   1   2   4

12  |    -   2   1   3

13  |    1   4   2   3

14  |    2   3   1   4

15  |    3   2   4   1

16  |    -   1   3   2

即应用到次数为16的正交表，我们可以得到16个用例。

B、把各个变量的代入正交表得到如下正交表：

Runs  A   　B   C   D

1  |    A1   B1   C1   D1

2  |    A2   B2   C2   D2

3  |    A3   B3   C3   D3

4  |    -   　B4   C4   D4

5  |    A1   B2   C3   D4

6  |    A2   B1   C4   D3

7  |    A3   B4   C1   D2

8  |    -   　B3   C2   D1

9  |    A1   B3   C4   D2

10  |    A2   B4   C3   D1

11  |    A3   B1   C2   D4

12  |    -     B2   C1   D3

13  |    A1   B4   C2   D3

14  |    A2   B3   C1   D4

15  |    A3   B2   C4   D1

16  |    -     B1   C3   D2

C、看上面的正交表可以知道变量A有剩余的水平数。下面我们用A的值循环代入：

Runs  A   　B   C   D

1  |    A1   B1   C1   D1

2  |    A2   B2   C2   D2

3  |    A3   B3   C3   D3

4  |    A1 　B4   C4   D4

5  |    A1   B2   C3   D4

6  |    A2   B1   C4   D3

7  |    A3   B4   C1   D2

8  |    A2 　B3   C2   D1

9  |    A1   B3   C4   D2

10  |    A2   B4   C3   D1

11  |    A3   B1   C2   D4

12  |    A3   B2   C1   D3

13  |    A1   B4   C2   D3

14  |    A2   B3   C1   D4

15  |    A3   B2   C4   D1

16  |    A1   B1   C3   D2

上面我用A的值循环填充了A剩余的水平数（蓝色标记的部分）。

D、接着，我们就可以用上面的正交表来设计用例了。不再多言。

2，  考虑强度为3的情况：

得到对应的正交表如下：

Runs     A   B  C   D

1  |    1   1   1   1

2  |    1   1   2   2

3  |    1   1   3   3

4  |    1   1   4   4

5  |    1   2   1   2

6  |    1   2   2   1

7  |    1   2   3   4

8  |    1   2   4   3

9  |    1   3   1   3

10  |    1   3   2   4

11  |    1   3   3   1

12  |    1   3   4   2

13  |    1   4   1   4

14  |    1   4   2   3

15  |    1   4   3   2

16  |    1   4   4   1

17  |    2   1   1   2

18  |    2   1   2   1

19  |    2   1   3   4

20  |    2   1   4   3

21  |    2   2   1   1

22  |    2   2   2   2

23  |    2   2   3   3

24  |    2   2   4   4

25  |    2   3   1   4

26  |    2   3   2   3

27  |    2   3   3   2

28  |    2   3   4   1

29  |    2   4   1   3

30  |    2   4   2   4

31  |    2   4   3   1

32  |    2   4   4   2

33  |    3   1   1   3

34  |    3   1   2   4

35  |    3   1   3   1

36  |    3   1   4   2

37  |    3   2   1   4

38  |    3   2   2   3

39  |    3   2   3   2

40  |    3   2   4   1

41  |    3   3   1   1

42  |    3   3   2   2

43  |    3   3   3   3

44  |    3   3   4   4

45  |    3   4   1   2

46  |    3   4   2   1

47  |    3   4   3   4

48  |    3   4   4   3

49  |    -   1   4   1

50  |    -   2   3   1

51  |    -   3   2   1

52  |    -   4   1   1

53  |    -   1   3   2

54  |    -   2   4   2

55  |    -   3   1   2

56  |    -   4   2   2

57  |    -   1   2   3

58  |    -   2   1   3

59  |    -   3   4   3

60  |    -   4   3   3

61  |    -   1   1   4

62  |    -   2   2   4

63  |    -   3   3   4

64  |    -   4   4   4

我们得到一个次数为64的正交表，按照1中的步骤B、C、D可以得到64测试用例。

在这个例子中，如果我们选择强度为4的表的话，也就相当于覆盖整个迪卡尔积了。所以在强度为4的时候，在这个例子中正交已经没有意义。