1、对测试用例场景覆盖率的认知?
要不要把某些场景自动化,需要综合考虑:业务重要程度、测试资源、执行频率、实现难度
2、自动化脚本的质量,重要的衡量点?
(1)脚本之间互不影响,相互隔离(示例:可按模块进行划分写成不同的py文件)
(2)测试中被测功能互不影响的(初始化,后置操作)
(3)能够快速定位bug位置(log日志定位结果)
(4)脚本易于编写,易于维护、以及易于扩展的
说明:不能无限制的为了降低学习成本而牺牲质量和效率,提升测试人员的技能是关键
3、自动化脚本执行失败的分析原因?
(1)环境错误
(2)网络问题
(3)case之间相互影响
(4)脚本本身的编写bug
(5)UI改动等因素导致
具体的分析方法:
<1>、将失败的测试用例,单挑出来重新脚本执行,查看是否成功,若失败则看下log日志执行到了哪步出现了报错。
<2>、根据自动化测试用例,执行功能测试查看是否OK,此时就可以判定出是脚本执行问题还是功能确实存在bug,或者是UI进行了变动。
<3>、根据如上的分析重新调整脚本后,再次运行查看是否ok(一般对一个脚本的稳定性检验的测试执行次数是3次)
<4>、此时已调整完,可以释放其他用户,重新整体试运行所有脚本,排除对其他脚本模块的影响
4、自动化脚本中的数据管理策略
(1)共享数据
(2)隔离数据
说明:具体的区别点与解释
(1)共享数据----------所有的case或者一些case共同使用的测试数据
优点:速度快,只需创建一次就可以给很多的case使用
缺点:<1>数据是为很多case准备的,写的不明确,很难确定数据对应的case方法
<2>数据本身不能扩展,一处改动影响则很广泛,维护脚本的成本高
(2)隔离数据----------每个case都独享测试数据,case之间互不影响,case执行前创造数据,执行后销毁数据
优点:由于数据在case之间互不影响,因此case的稳定性、可维护性、可读性都大大提高,由于维护性强,因此成了首选方案
缺点:速度慢
5、是否启动UI自动化的影响考量因素
是否启动UI自动化,需结合当前的实际情况,需要考量的因素有:结合公司当前的现状、发版节奏、需求变化、产品生命周期等
6、UI脚本框架设计应遵循的基本规则:po