批量运行工具CukeTest Batch

CukeTest批量运行工具允许用户通过配置项目列表，按照指定的顺序运行列表中的项目，并汇总生成多项目运行报告。

工具介绍

对于实际的测试流程，往往不会把所有自动测试放在同一个测试项目中，而是由多个测试项目共同组成。因此理所当然的，CukeTest提供了一个用于批量运行的工具，来一键运行多个指定的项目，并收集这些项目的运行结果，返回并呈现出来。

由于CukeTest主要用于执行桌面自动化项目，因此这些项目默认是顺序运行，而不是并行运行。

如何打开

从CukeTest主界面的“工具”->“批量运行工具”中打开。

清单文件

批量运行的项目列表可以保存为独立的清单文件（.cukerun后缀名），这份文件不仅会保存列表中所有项目的路径信息，还会保存项目的运行参数信息（是否选中、运行配置、报告格式等）。

界面介绍

批量运行工具的界面由两部分组成：

• 项目配置：配置和管理要运行的项目列表，同时也可以运行项目和手动生成项目的运行报告。
  • 工具栏：针对批量运行提供的各项功能。
  • 项目列表：添加和管理待运行的项目清单，同时显示各个项目最近一次运行的状态和报告路径。
• 命令行输出：展示所有项目运行时的命令行输出。

工具栏

下面是工具栏提供的功能。

• 新建: 创建新的清单文件（.cukerun后缀文件）。
• 打开: 打开已有的清单文件（.cukerun后缀文件）。
• 保存: 保存清单文件。
• 导入: 从另一个清单文件中读取项目列表并加入到当前项目列表中。也可以理解为将另一个清单文件合并进来。
• 运行所有: 运行所有选中的项目，等待所有选中的项目运行完毕后会自动生成并打开报告。
• 拷贝命令: 复制运行命令，该命令可以直接在命令行中使用，效果等同于点击运行所有按钮。完整的命令详情可以查看命令行区域。
• 生成报告: 生成所有选中的项目的汇总报告，如果项目还没有运行报告（未运行过），则会跳过该项目。
• 打开报告目录: 打开汇总报告所在的目录。
• 报告格式：设置批量报告的生成格式，可选： html 、 word 。
• 视频录制：开启或关闭录制功能。开启后会录制整个测试过程中，便于回放和分析测试结果。
• 邮件通知：配置邮件通知功能，可以在自动化测试结束后，实时将测试结果发送至指定邮箱，方便持续追踪和分析。

项目列表

• 项目名: 当前项目的名称，点击名称会在文件管理器中打开项目。在项目名上悬停鼠标可以查看项目的完整路径；点击悬停的 图标，点击该图标可直接打开CukeTest进行编辑操作。
• 添加项目: 添加要运行的CukeTest测试项目。
• 配置: 选择项目运行的配置。
• 状态: 项目上一次运行的状态，项目有6种状态分别是：
  • 等待运行: 尚未运行过。
  • 运行中: 正在运行。
  • 运行通过: 运行完成，结果为全部通过。
  • 运行失败: 运行完成，结果中有未通过的步骤。
  • 运行被中断: 运行被手动停止，不会有报告生成。
  • 运行出错，请查看命令行输出: 运行时遇到致命错误，导致无法开始或继续运行项目，具体错误信息参考命令行输出。常见的出错原因一般是被测应用启动路径错误、缺乏运行所需的依赖文件等。
• 结果: 项目上一次运行的报告文件路径（.json文件）。
• 操作:
  • 运行：单独运行当前项目，会更新当前项目的状态和结果。
  • 移除：从当前项目列表中移除此项目，并不会删除项目文件。
• 选择或拖拽添加: 在批量运行工具中打开选择或拖拽的清单文件（.cukerun后缀文件）。

输出面板

输出面板提供了三个标签页，分别是输出、命令行和运行报告。

• 输出：显示CukeTest项目运行的输出信息。
• 命令行：动态的显示运行当前选中的项目的完整命令。
• 运行报告：列出项目运行后的批量运行报告。

批量运行报告

在所有已选项目运行完成后，CukeTest会将这些项目的运行结果汇总，生成批量运行报告。CukeTest支持生成2种格式的报告：html、word。

批量报告有以下特点：

• 可以快速查看所有测试过的功能和场景
• 可以显示每个场景的详细信息，包括步骤、参数、错误、截图等。

html报告

在html报告中，你可以进行搜索、排序、筛选。html报告可以直接在浏览器中打开，不需要安装额外的软件，还可以方便地从其它网页或文档链接。

word报告

word报告的格式稳定一致，且易于打印和编辑。你可以在此基础上修改样式或插入更多内容，制作自己的测试报告。

视频录制

批量运行工具提供了一个强大的视频录制功能，当你打开“视频录制”开关后，批量工具会在运行时自动为整个执行过程录制视频文件，保存在报告目录中。这样，你就可以随时回放和查看测试过程，发现和定位问题，以及分享和展示测试效果。

视频录制功能不仅可以提高测试的可视化和可追溯性，还可以增强测试的信任度和可信度。当你遇到一些难以复现或者难以解释的测试问题时，你可以通过视频来证明和说明问题的存在和原因，避免因为缺乏证据而无法解决问题。

如果在批量工具中启用了录制视频功能，会禁用单个项目中配置的视频录制，也就是说，只会录制一个包含所有项目执行的视频，而不会生成多个每个项目执行的视频。

邮件通知

CukeTest批量运行工具支持邮件通知功能，可以在完成所有项目的自动化测试后，将测试结果通过电子邮件发送给指定的收件人。这一功能帮助您持续跟踪和分析测试结果，更有效地控制和管理项目的质量。

在CukeTest批量运行工具界面中配置使用邮件通知功能非常简单。您可以按照以下步骤进行设置：

1. 点击工具栏中的“邮件通知”按钮，打开邮件通知设置。

2. 在邮件通知设置中，启用邮件通知，并选择用来发送的邮件配置。如果是首次设置，请点击“管理”进入邮件配置页面并新建配置。

3. 在邮件配置页面填写以下参数：

   • 发件人：填写发件人的邮箱地址。
   • 收件人：填写接收邮件通知的邮箱地址，可以是多个邮箱，用逗号或分号隔开。
   • 邮件主题：填写邮件的标题，简明扼要地描述邮件内容。。
   • 邮件内容：填写邮件的正文，可以包含测试结果的说明或其他相关信息。
   • 附件：可选择是否需要将测试报告作为附件一起发送，以提供测试结果的详细信息。
   • 服务器：填写发送邮件的邮箱服务器地址，例如"smtp.example.com"。
   • 端口：填写邮箱服务器的端口号，通常为465或587。
   • 端口安全连接：选择是否启用SSL加密
   • 用户名：填写发送邮件的邮箱地址，用于邮件发送时的身份验证。
   • 密码：填写发送邮件的邮箱密码，用于邮件发送时的身份验证。

4. 确认配置信息无误后，点击保存以完成邮件配置。

5. 返回邮件通知设置界面，确认邮件通知已启用，再次点击保存。

通过以上配置，即可启用CukeTest批量运行工具的邮件通知功能，并在测试执行过程中及时收到测试结果的邮件通知，提高团队协作效率和测试效率。

命令行工具

为了配合远程自动化，CukeTest也为批量运行工具提供了一些命令。

打开批量运行工具

cuke batch --ui

运行项目

使用指定的批量运行清单文件.cukerun，执行测试。

cuke batch [*.cukerun]

输出信息

当您使用批量工具运行测试时，除了脚本本身产生的输出信息外，工具还会在运行结束时提供一个汇总报告。这个报告包括了每个项目的通过情况、失败情况以及所用时间等重要信息。这对于快速了解测试概况非常有帮助。示例输出如下：

======== Projects run completed in 38.209s ========
- 2 Passed
- 1 Failed

| ID | Project    | Result | Duration |
|----| ---------- | ------- | ---------- |
| 1  | qt-dialog  | ✓ passed | 00:00:03.753s |
| 2  | qt-notepad | ✓ passed | 00:00:05.198s |
| 3  | math       | ✗ failed | 00:00:00.007s |

在此表格中，您可以看到每个项目的ID、名称、运行结果和持续时间。运行结果标记为“✓ passed”表示成功，“✗ failed”表示失败。

终端中的输出信息也会自动保存到批量工具的报告目录中，生成名为output.log.html的文件。这个HTML文件会保留原始的彩色日志，方便后续审查和诊断。

查看帮助

cuke batch -h

命令行选项