Flaky tests

Flaky tests

这个测试有时会失败，但是如果您重试了多次，它最终会通过.

当的测试频繁失败时，应创建〜” master：broken”问题 . 如果无法及时修复测试，则会影响所有开发人员的工作效率，因此应通过分配:quarantine元数据将其放入隔离:quarantine .

这意味着除非使用--tag quarantine运行，否则它将被跳过：

Once a test is in quarantine, there are 3 choices:

  • 测试应该固定（即摆脱其脆弱性）吗？
  • 是否应将测试移至较低级别的测试？
  • 是否应该完全删除该测试（例如，因为已经有一个较低级别的测试，或者它正在复制另一个相同级别的测试，或者它测试的太多等等）？

隔离测试在允许失败的专用作业中在 CI 上运行：

  • rspec-pg-quarantine （CE 和 EE）
  • rspec-pg-quarantine-ee （仅适用于 EE）

在 CI 上，我们使用自动重试失败的示例几次（有关准确的重试次数，请参阅spec/spec_helper.rb ）.

这最初是在以下实现的： https : .

如果要在本地启用重试，则可以使用环境变量. 例如RETRIES=1 bin/rspec ...将重试失败的示例一次.

Capybara viewport size related issues

Capybara JS driver related issues

PhantomJS / WebKit related issues

  • 记忆在屋顶！ （TL; DR：加载图像但阻止图像请求！）： https :

Capybara expectation times out

Return to Testing documentation