三板斧 2.测试稳定性三板斧Difficulty如何治理测试问题？(图)

郑子颖：阿里巴巴研究员，2002年上海交通大学计算机系硕士毕业。2018年3月加入阿里，负责质量和技术风险。

1. 测试稳定性问题

理想情况下，我们希望每一个失败的测试用例[1]都是由真正的缺陷引起的。实际情况中，用例失败的原因大多是一些其他的原因：

每次排查都是一堆这种问题，时间久了，开发和测试同学也就疲了。有些同学对失败的用例草草看一眼，就说这是一个“环境问题”，不再排查下去了。如此一来，很多真正的缺陷就被漏过了。

2. 测试稳定性三板斧

如何治理测试稳定性问题？很多人会说：环境、流程管控、监控、工具化、加机器、专人负责、等等。这些都是对的。不过这些都是解决方案层面的，而不是方法论和理论体系层面的。

在方法论和理论体系层面，我们对安全生产有三板斧：可灰度、可监控、可回滚。类似的，对于测试稳定性，我也有三板斧：

三板斧之一：高频

“If it hurts, do it more often”是我说的最多的一句话之一。这句话从Martin Fowler那儿来的，有兴趣的可以读一下他的那篇“Frequency Reduces Difficulty”的原文。

高频跑测试的好处是：

高频不单单是治理测试稳定性的不二法门，也是治理其他工程问题的game changer：

持续打包：以前只是在部署测试环境前才打包，经常因为打包的问题导致部署花了很多时间，还影响了后面的测试进度。针对这个问题，我们做了持续打包，每个小时都会对master的HEAD打包，一旦遇到问题（例如：依赖的mvn包缺失、配置缺失、等等），马上修复。

天天上生产：现在每周发一次生产环境，每次都费事费力。我提出能不能天天上生产。发布还是按照原来的节奏来，每周发一次新代码，一周里的其余日子，就算没有新代码也要走一遍生产发布。空转。不为别的，就是为了要用高频来暴露问题、倒逼人肉环节的自动化、倒逼各种环节的优化。

分支合并很痛苦三板斧，那就频繁合并，一天一次，一天多次。做到极致就变成了主干开发，一直在rebase、一直在提交。

蚂蚁的SRE团队也是用的是高频的思路。为了加强容灾能力建设、提高容灾演练的成功率，SRE团队的一个主打思想就是要高频演练，用高频演练来充分暴露问题、倒逼能力建设。

高频也不是那么容易做到的。

高频需要基建保障。首先，高频需要资源。高频执行还会给基建的各个方面造成前所未有的压力。高频还需要能力水平达到一定的基准。就拿SRE的高频演练来说吧。如果每次演练还有很多问题，那是不可能搞高频的。能高频做演练的前提是我们的隔离机制、恢复能力已经到一定的水平了。对于测试运行来说，高频跑测试要收到效果，需要把隔离和用完即抛做好。

对于高频跑测试，一个很常见的疑虑是：原来一天只跑一次，失败的用例我已经没有时间一一排查了，现在高频跑了，我岂不是更没时间了？我的回答是：实际上，并不会这样，因为开始高频跑了以后，很快问题就会收敛的，所以总的需要排查的量可能是差不多的或者反而小了的。

三板斧之二：隔离

相比起三板斧里的其他两个（高频、用完即抛），隔离的重要性应该是比较被广为接受的。隔离的好处包括：

隔离无非是两种：硬隔离、软隔离。至于到底是走硬隔离路线，还是走软隔离路线，要根据技术栈、架构、业务形态来具体分析。不过两条道路都是能通往终局：

这两种终局状态，我在我以前的工作中都达到过。的确都能work的。这两种隔离要通往终局，都是技术挑战。压缩成本是技术问题。逻辑隔离做彻底做牢靠也是技术问题。

对于我们今天的支付或电商系统来说，我们未来的终局是硬隔离还是软隔离呢？现在还很难说。从技术可行性方面判断，软隔离更有可能成为我们的终局。硬隔离做到深水区以后就很难做了，因为会遇到架构的物理极限。突破架构的物理极限，有可能产生新的质量盲区。但相当长的一段时间里，硬隔离会继续对我们帮助很大。例如，我们要做各种非常规测试的时候，就需要硬隔离。软隔离要做到能够支持非常规测试，技术复杂度很高。从上个财年开始，我在我团队搞一键拉全量测试环境（硬隔离）的原因就是：一键拉全量环境相对比较容易做，主要就是自动化，而基于路由的软隔离方案一下子还不太ready，短期内达到我们需要的隔离水平还很难。

硬隔离和软隔离也不是对立的，是可以一起用的。例如，我们在拉起基于路由的隔离环境的时候，拉会新的数据库。在数据库层面是一种硬隔离，是对数据库层面软隔离能力欠缺的一种补充。

总之，隔离是必须的。采取何种隔离方案，要阶段性的基于复杂度、成本、效果等因素的综合考量。

三板斧之三：用完即抛

我最喜欢的另一句话是：Test environment is ephemeral。这句话是我原创的。Ephemeral的意思就是short-living，短暂的，短命的。我对我的QA团队反复讲这句话，希望同学们能在日常工作中时刻记得这个原则。

“Test environment is ephemeral”就意味着：

有了这些能力，能够以零人力成本、非常快速且非常repeatable的从无到有建一套“开箱即用”的测试环境三板斧，能够造出来测试需要的所有数据，我们就能做到测试环境的用完即抛：要跑测试了就新建一个环境，测试跑完了就把环境销毁掉。下次要用再建一个新的。而且，不单单是测试环境，测试执行机也要用完即抛。

对于用完还需要保留一定时间的环境，也要设一个比较短的上限。例如，我以前采用过这样的做法：

用完即抛的好处是：

测试环境用完即抛的确会引入一些新的质量风险。如果有一套长期维护的环境，里面的数据是之前老版本的代码生成的，部署了新版本代码后，这些老数据是可以帮我们发现新代码里面的数据兼容性问题的。现在用完即抛，没有老数据了，这些数据兼容性问题就可能无法发现。

这个风险的确是存在的。解决这个风向的思路是往前看，而不是往回退。我们要探索数据兼容性问题是否有其他的解法。有没有其他的测试或者质量保障手段。甚至要想一想，怎么做到“从测到不测”，把数据兼容性问题通过架构设计来消除掉，让它不成为一个问题。

3. 落地

上面讲的三板斧，高频、隔离、用完即抛，的确是有点理想主义的。我们今天的基建、架构、自动化建设，离理想状态还有不少差距的。

但我们就是要有那么一点的理想主义的。把这三板斧做好，技术上的挑战是非常非常大的，但我们有乐观主义，相信我们能够达到目标。我们有现实主义，我们可以分解目标，结合实际情况，一步步的去做。