robotframework笔记20

配置执行

选择测试用例

机器人框架提供了几个选择的命令行选项执行测试用例。也工作在相同的选项后处理输出与 Rebot 。

通过测试套件和测试用例的名称

测试套件和测试用例可以选择通过他们的名字的命令行选项 ——套件(- s) 和 ——测试(- t) , 分别。这两个选项可以多次使用选择几个测试套件或案例。这些选项的参数情况下,space-insensitive也可以简单的模式匹配多个名字。如果 ——套件和 ——测试选项,只在匹配的测试用例套件选择匹配的名称。

--test Example

--test mytest --test yourtest

--test example*

--test mysuite.mytest

--test *.suite.mytest

--suite example-??

--suite mysuite --test mytest --test your*

使用 ——套件选择是或多或少一样执行适当的测试用例文件或目录。一个主要的好处是可能选择套件基于母公司套件。的语法父母和孩子是指定的套件名称分开一个点。在这种情况下,可能的setup和teardown父母套件执行。

--suite parent.child

--suite myhouse.myhousemusic --test jack*

选择单个测试用例的 ——测试选择是非常实际在创建测试用例,但运行测试时相当有限自动。的 ——套件选项可能是有用的情况下,但总的来说,选择测试用例通过标记名称灵活。

通过标签名称

有可能包括和排除测试用例标签名字的 ——包括(我) 和 ——排除(e) 选项,分别。如果 ——包括选择使用,只有测试用例有一个匹配选择标签, ——排除有一个选择测试用例匹配的标记。如果使用了两个,只测试一个标签匹配前的选择,而不是一个标签匹配的后者, 被选中。

--include example

--exclude not_ready

--include regression --exclude long_lasting

这两个 ——包括和 ——排除可以使用几个次匹配多个标签。在这种情况下一个测试被选中如果它有一个标签匹配任何包含标记,也没有标签匹配任何排除标签。

除了指定标签完全匹配,可以使用标记模式在哪里 * 和 吗? 通配符, 和 , 或 , 不 运营商可用于结合个人标签或模式:

--include feature-4?

--exclude bug*

--include fooANDbar

--exclude xxORyyORzz

--include fooNOTbar

选择测试用例,标记是一种非常灵活的机制,允许许多有趣的可能性:

测试之前执行其他测试的子集,通常被称为烟雾测试,可以标记 烟 和执行 ——包括烟 。
未完成的测试可以致力于与一个标签版本控制等 not_ready 和排除在测试执行 ——排除not_ready 。
测试可以标记 sprint——< num > ,在那里 < num > 指定当前sprint的数量执行所有的测试用例后,只包含一个单独的报告可以生成某个sprint的测试(例如, rebot ——包括sprint-42 output.xml )。

重新执行失败的测试用例

命令行选项 ——rerunfailed(- r) 可以用来选择所有失败了测试从早期输出文件 re-execution。这个选项是有用的, 例如,如果运行所有测试需要很长时间和一个希望迭代修复失败的测试用例。

robot tests                             # first execute all tests

robot --rerunfailed output.xml tests    # then re-execute failing

幕后这个选项选择的失败的测试选择单独的 ——测试选择。进一步是可能的通过使用微调的列表选择测试 ——测试 , ——套件 , ——包括和 ——排除选项。

使用一个输出不是来自执行相同的测试运行现在造成未定义的结果。此外,这是一个错误如果输出不包含任何失败的测试。使用一种特殊的价值 没有一个 作为输出一样是不指定这个选项。

提示

Re-execution结果和原始结果合并在一起使用 ——合并命令行选项。

请注意

重新执行失败的测试是机器人Framework 2.8中的一个新特性。之前被任命为机器人框架2.8.4选项 ——runfailed 。旧的名字仍然有效,但是它在未来将被删除。

当没有测试匹配选择

默认情况下在没有测试匹配选择条件测试执行失败这样的一个错误:

[ ERROR ] Suite 'Example' with includes 'xxx' contains no test cases.

因为没有输出是生成的,这种行为可以有问题如果测试自动执行和结果处理。幸运的是一个命令行选项 ——RunEmptySuite 可用于套件执行力在这种情况下。结果正常输出创建但显示零执行测试。可以使用相同的选项也改变了行为一个空的目录或文件不含测试执行测试用例。

类似的情况也发生在处理输出文件 Rebot 。有可能是没有测试匹配过滤标准或使用输出文件中不含测试开始。默认情况下执行没有室内可容纳在这些情况下,但它有一个单独的——ProcessEmptySuite 选项,可以用来改变行为。在实践中该选项一样工作 ——RunEmptySuite 当运行测试。

请注意

——ProcessEmptySuite 2.7.2选项添加机器人框架。

设定临界

测试执行的最终结果是基于确定的关键的测试。如果一个关键的测试失败,整个测试运行被认为是失败了。另一方面,非关键的测试用例失败,总体状况仍被视为通过。

所有测试用例被认为是关键的默认,但这可以改变与 ——关键(- c) 和 ——被(- n) 选项。这些选项指定哪些测试是至关重要的基于标签类似地, ——包括和 ——排除是用来通过标签来选择测试。如果只有 ——关键 ,与一个测试用例匹配标签是至关重要的。如果只有 ——被使用, 测试没有一个匹配的标记是至关重要的。最后,如果两者都是使用,只测试一个关键标记但是没有一个非关键标记至关重要的。

这两个 ——关键和 ——被同样也支持标签模式作为 ——包括和 ——排除。这意味着模式匹配的情况下,空间,强调不敏感, * 和 吗? 支持通配符, 和 , 或 和 不 运营商可以用来创建相结合的模式。

--critical regression

--noncritical not_ready

--critical iter-* --critical req-* --noncritical req-6??

最常见的用例设置临界测试用例没有准备好或测试功能仍在发展测试执行。这些测试也可以排除在外测试执行的 ——排除选择,但包括非关键测试使您能够看到他们开始通过。

测试时临界集没有存储任何地方执行。如果你想保持相同的临界当后处理输出用,室内可容纳你需要使用 ——关键和/或 ——被还用它:

# Use rebot to create new log and report from the output created during execution

robot --critical regression --outputdir all tests.robot

rebot --name Smoke --include smoke --critical regression --outputdir smoke all/output.xml

# No need to use --critical/--noncritical when no log or report is created

robot --log NONE --report NONE tests.robot

rebot --critical feature1 output.xml

设置元数据

设置名称

当机器人框架分析测试数据, 创建测试套件的名称从文件和目录的名称。顶级测试套件的名称然而,可以被覆盖命令行选项 ——名称(- n) 。强调了在给定的名称转换为自动空间,和文字的名字大写。

设置文档

除了定义文档的测试数据、文档的顶级套房可以从命令行得到选项 ——医生(- d) 。强调了在给定的文档转换为空间,它可能包含简单吗 HTML格式。

设置免费的元数据

免费测试套件的元数据也可以从命令行得到的吗选项 ——元数据(- m) 。参数必须在格式 名称:值 ,在那里 的名字 元数据集的名称 价值 是它的价值。名称和值转换为下划线空间,后者可能包含简单 HTML格式。这个选项可以使用几次设置多个元数据。

设置标签

命令行选项 ——settag(g) 可用于设置给定的标记所有执行测试用例。可以使用这个选项几次设置多个标签。

配置在哪里搜索库和其他扩展

当机器人框架进口测试库 , 侦听器或其他基于Python的扩展,它使用Python解释器模块导入从系统包含扩展。位置模块的列表寻找的是叫什么 该模块搜索路径 ,其内容可以使用不同的配置方法在这一节中解释。当导入Java库或者其他扩展基于Jython,Java 类路径使用除了正常的模块搜索路径。

机器人框架使用Python的模块搜索路径也在导入资源和变量文件如果指定的路径不直接匹配任何文件。

该模块搜索路径设置正确,以便库和其他扩展是一个要求成功的测试执行。如果你需要定制它使用下面的方法解释说,这是经常要创建一个自定义一个好主意启动脚本。

位置自动模块搜索路径

Python解释器有自己的标准库以及一个目录第三方模块是自动安装的模块搜索路径。这意味着测试库包装使用Python的包装系统会自动安装,这样就可以进口的没有任何额外的配置。

`PYTHONPATH环境` , `JYTHONPATH` 和 `IRONPYTHONPATH`

Python,Jython和IronPython阅读额外的位置添加到该模块搜索路径 PYTHONPATH环境 , JYTHONPATH 和 IRONPYTHONPATH 环境变量,分别。如果你想指定多个位置在其中任何一个,你需要分开冒号在类unix机器上的位置(如。 / opt / libs:$ HOME / testlibs )和Windows上的分号(如 D:\ libs % HOMEPATH % \ testlibs )。

环境变量可以永久系统范围或者配置他们只影响一个特定的用户。或者他们可以暂时设置在运行一个命令之前,在自定义的东西非常好用启动脚本。

请注意

机器人Framework 2.9,之前的内容 PYTHONPATH环境 环境变量被添加到模块搜索路径框架本身当运行在Jython和IronPython。现在不做了, JYTHONPATH 和 IRONPYTHONPATH 必须使用这些翻译。

使用 `——pythonpath环境` 选项

机器人框架有一个单独的命令行选项 ——pythonpath(- p) 将位置添加到模块搜索路径。虽然选项名称 Python这个词,它的工作原理也在Jython和IronPython。

可以由多个位置用冒号分隔他们,不管操作系统,或者多次使用这个选项。给定的路径也可以是一团模式匹配多个路径,但它通常需要逃了出来。

例子:

--pythonpath libs

--pythonpath /opt/testlibs:mylibs.zip:yourlibs

--pythonpath mylib.jar --pythonpath lib/STAR.jar --escape star:STAR

配置 `sys.path` 以编程方式

Python解释器将他们使用的模块搜索路径存储为字符串的列表在 sys.path 属性。在执行这个列表可以动态更新,更改考虑下次进口。

Java类路径

当库中实现Java与Jython进口,他们可以在Jython中正常的模块搜索路径或 Java类路径。最常见的方式来改变路径的设置 类路径 环境变量同样作为 PYTHONPATH环境 , JYTHONPATH或 IRONPYTHONPATH 。或者可以使用Java的 - cp 命令行选项。这个选项不接触 机器人 跑脚本 ,但这是可以使用Jython通过添加 - j 前缀像 jython -J-cp例子。 jar - m机器人。运行tests.robot 。

使用独立的JAR分布时,类路径中必须设置一个有些不同,由于这一事实 java jar 命令不支持的 类路径 环境变量和 - cp 选择。有两种不同的方式来配置类路径:

java -cp lib/testlibrary.jar:lib/app.jar:robotframework-2.9.jar org.robotframework.RobotFramework tests.robot

java -Xbootclasspath/a:lib/testlibrary.jar:lib/app.jar -jar robotframework-2.9.jar tests.robot

设置变量

变量可以从命令行设置单独使用 ——变量(- v) 选择或通过变量的文件与 ——variablefile(- v) 选择。变量和变量文件解释在不同的章节,但下面的例子说明如何使用这些选项:

--variable name:value

--variable OS:Linux --variable IP:10.0.0.42

--variablefile path/to/variables.py

--variablefile myvars.py:possible:arguments:here

--variable ENVIRONMENT:Windows --variablefile c:\resources\windows.py

排练

机器人框架支持所谓的排练测试模式正常运行,但关键字来自测试库不执行。干燥的运行模式可用于验证测试数据,如果干运行通过,数据应该是语法正确的。这个模式使用触发选项 ——dryrun 。

演习执行可能会失败,有以下原因:

没有发现使用关键字。

使用关键字与错误的数量的参数。

使用用户关键字无效语法。

除了这些失败,正常执行错误所示, 例如,当测试库或资源文件不能进口解决。

请注意

干燥的运行模式不验证变量。这限制可能在将来的版本中取消。

随机的执行顺序

测试执行的顺序可以随机选择 ——随机<什么>(<种子>): ,在那里 <什么> 是下列之一:

测试: 测试用例在每个测试套件以随机的顺序执行。
套房: 所有测试套件执行在一个随机的顺序,但里面的测试用例套件运行的顺序定义。
所有: 测试用例和测试套件都以随机的顺序执行。
没有一个: 测试的执行顺序和套房都不是随机的。这个值可以用来覆盖前面的值集 ——随机。

从机器人2.8.5框架,它可以给一个定制的种子初始化随机发生器。这是非常有用的,如果你想重新运行测试使用相同的顺序。种子作为价值的一部分 ——随机在格式 < >:<种子> 它必须是一个整数。如果没有种子,它是随机生成的。顶级执行测试套件自动获得元数据命名随机告诉两个什么是随机的,种子被使用。

例子:

robot --randomize tests my_test.robot

robot --randomize all:12345 path/to/tests

编程修改测试数据

如果提供的内置功能修改测试数据之前执行是不够的,机器人框架2.9和更新提供了一个可以做什么自定义编程方式修改。这是通过创建完成模型修改器,使用激活它——prerunmodifier 选择。

模型修改器应该能够遍历实现为游客可执行测试套件结构并根据需要修改它。访问者接口的一部分解释机器人框架API文档 ,它可能改变执行测试套件 , 测试用例和关键字使用它。下面的示例应该给一个想法如何使用模型修改器,这个功能是多么强大。

from robot.api import SuiteVisitor

class SelectEveryXthTest(SuiteVisitor):

    """Visitor that keeps only every Xth test in the visited suite structure."""

    def __init__(self, x, start=0):

        self.x = int(x)

        self.start = int(start)

    def start_suite(self, suite):

        """Modify suite's tests to contain only every Xth."""

        suite.tests = suite.tests[self.start::self.x]

    def end_suite(self, suite):

        """Remove suites that are empty after removing tests."""

        suite.suites = [s for s in suite.suites if s.test_count > 0]

    def visit_test(self, test):

        """Save time to avoid visiting tests and their keywords."""

        pass

当模型修改器使用在命令行上使用 ——prerunmodifier 选项,它可以指定的名称修饰符修饰符的类或路径文件。如果修饰符作为一个类名,必须在包含类的模块模块搜索路径 ,如果模块名称和类名不同,给定的名称必须包括 module.ModifierClass 。如果修饰符路径,类名必须与文件名相同。这对于大多数部分工作就像当指定一个测试库导入。

如果一个修饰词需要参数,就像上面的例子一样,他们可以后修饰符指定的名称或路径使用冒号( : )或分号( ; )作为分隔符。如果两个值中使用,一分之一被认为是实际的分离器。

例如,如果上面的模型修改器可以在一个文件中 SelectEveryXthTest.py ,它可以是这样的:

# Specify the modifier as a path. Run every second test.

robot --prerunmodifier path/to/SelectEveryXthTest.py:2 tests.robot

# Specify the modifier as a name. Run every third test, starting from the second.

# SelectEveryXthTest.py must be in the module search path.

robot --prerunmodifier SelectEveryXthTest:3:1 tests.robot

如果需要多个模型修改器,他们可以通过使用指定的 ——prerunmodifier 多次选择。如果类似的修改需要在创建结果之前, 编程式的修改结果可以使用吗 ——prerebotmodifier 选择。

控制控制台输出

有各种各样的命令行选项来控制测试的执行在控制台上。

控制台输出类型

整个控制台输出类型设置的 ——控制台选择。它支持以下不区分大小写的值:

详细的: 每一个测试套件和测试用例单独报告。这是默认值。
虚线: 只显示 。 通过测试, f 对于非关键失败测试, F 对失败的关键测试, x 跳过,因为测试测试执行退出。失败的关键测试单独列出后执行。这个输出类型很容易看到有什么失败在执行期间,即使会有很多测试。
安静的: 没有输出,除了错误和警告。
没有一个: 没有任何输出。当创建一个自定义输出使用有用, 例如, 听众。

单独的方便选择 ——点(-)。和 ——安静的快捷键 ——控制台点缀 和 ——控制台安静 ,分别。

例子:

robot --console quiet tests.robot

robot --dotted tests.robot

请注意

——控制台 , ——点缀和 ——安静在机器人Framework 2.9新选项。在此之前输出总是在当前的一样吗 详细的 模式。

控制台宽度

测试执行的宽度可以使用设置在控制台输出的选项 ——consolewidth(- w) 。默认的宽度是78个字符。

提示

在许多类unix机器可以使用方便 美元列 环境变量如 ——consolewidth美元列 。

请注意

机器人框架2.9之前这个功能被启用 ——monitorwidth 选项,第一次被弃用, 现在删除。简单的选择 - w 以同样的方式工作在所有版本。

控制台的颜色

的 ——consolecolors(- c) 选项用于控制是否颜色应该使用控制台输出。颜色是实现使用 ANSI颜色除了在Windows上,默认情况下,窗口使用api。从Jython访问这些api是不可能的, 因此颜色不使用Jython在Windows。

该选项支持以下不区分大小写的价值观:

汽车: 颜色时启用输出写入控制台,但不是当他们被重定向到一个文件中或其他地方。这是默认的。
在: 使用颜色也当输出重定向。在Windows上不工作。
ansi: 一样 在 但使用ANSI颜色也在Windows。有用的,例如, 当重定向输出到一个程序理解ANSI颜色。 2.7.5新机器人框架。
从: 颜色是禁用的。

请注意

机器人框架2.9之前这个功能被启用 ——monitorcolors 选项,第一次被弃用, 现在删除。简单的选择 - c 以同样的方式工作在所有版本。

控制台标记

从机器人Framework 2.7,特殊的标记 。 (成功), F (失败)使用时显示在控制台上详细输出和顶级关键词测试用例结束。标记允许后高水平的测试执行,测试用例结束时抹去。

从机器人第2.7.4框架,可以配置标记是使用 ——consolemarkers(- k) 选择。它支持以下不区分大小写的价值观:

汽车: 标记写入标准输出时启用控制台, 但当它被重定向到一个文件中或其他地方。这是默认的。
在: 标记总是使用。
从: 标记是被禁用的。

请注意

机器人框架2.9之前这个功能被启用 ——monitormarkers 选项,第一次被弃用, 现在删除。简单的选择 - k 以同样的方式工作在所有版本。

设置监听器

可以用来监控测试执行。当他们进入使用从命令行,他们指定使用 ——侦听器命令行选项。的值可以是一个路径或一个侦听器一个侦听器的名字。看到监听器接口为更多的细节部分关于进口的听众和使用它们。