我在开发一个自动化测试平台,怎么证明我的自动化测试平台提效了呢?

2022-01-24 11:16:09 +08:00
 hackingwu

我在开发一个自动化测试平台,怎么证明我的自动化测试平台提效了呢?并计算出我们提效了多少呢? 如果我们看测试周期,可是即使周期变短了,也可能是他们熟练度提高,服务端质量提高了。 那要怎么证明是我们平台做了提效呢?并能有量化的数据。

2995 次点击
所在节点    程序员
23 条回复
chtcrack
2022-01-24 11:19:05 +08:00
那得老板懂得看代码,否则就是对牛弹琴,无任何意义.
现在有很多私人老板完全不懂程序代码,属于外行管内行,碰上这种,你就当你自己做贡献,别想那么多了,最多提一句,别指望不懂程序的老板懂这个.
dilu
2022-01-24 11:20:18 +08:00
1. bug 率 例如以 1 个月为周期,用你的平台前 1 个月和后一个月 bug 率 即总 bug 数 /(需求*人日)
2. 历史 case 回归时长占比,调研所有测试 case 中回归逻辑占比,时间同上
3. 同样的时间周期,测试时间占比整个项目立项周期 看看是不是变短了
micean
2022-01-24 11:21:34 +08:00
熟练度再高也比不过机器啊
量化指标的话,综合测试用例总数和平均时间?
geeksammao
2022-01-24 11:25:54 +08:00
如果你是靠这个平台来作为业绩,那主要就是考验你的汇报、pr 能力了,即使是“他们熟练度提高”了你也要主动忽略掉再用话术包装成是你的平台的功劳。
因为效率这种东西很多时候就不是能特别量化清楚并归因的指标,只要东西能做到 70 、80 分,剩下的就靠宣传和包装了。
Renzo
2022-01-24 11:59:44 +08:00
感觉一个新的工具上线在短期内一定会让效率下降才对,长期才会让效率上升。还是着重于画饼汇报吧。。。
otakustay
2022-01-24 12:01:20 +08:00
我们有一个指标,需求开发完成(待测试)到最终上线的时长,自动测试化应该能很大程度上缩短这个时间,这个短绝对不是人靠熟练能做到的,不然自动化干啥
msg7086
2022-01-24 12:21:46 +08:00
主要就是 Story 完成时间和 Story 上线后的 bug 率。
有良好自动化测试覆盖的程序上线以后出 Bug 的概率应该会很小,而且不需要很多人工去手动测试和反馈。
jones2000
2022-01-24 13:25:00 +08:00
开源你的自动化测试平台, 如果用的人多说明确实可以提效, 如果没人用,基本就是再自嗨。
hackingwu
2022-01-24 14:08:18 +08:00
@Renzo 或者后续有哪些指标可以佐证。因为还需要采集数据。
hackingwu
2022-01-24 14:08:58 +08:00
@jones2000 公司内部平台, 会有人用。但是用完提效如何,我们要有数据支撑的。
hackingwu
2022-01-24 14:09:32 +08:00
@msg7086 是,但是怎么证明是我们平台起了效果呢?
hackingwu
2022-01-24 14:10:36 +08:00
@geeksammao 老板想看数据, 提质增效的数据证明。
hackingwu
2022-01-24 14:10:57 +08:00
@micean 平均时间指的是?
hackingwu
2022-01-24 14:12:14 +08:00
@dilu 好的,谢谢。
micean
2022-01-24 14:20:52 +08:00
@hackingwu

一个迭代里,测试的累计工时 /测试用例的数量
jones2000
2022-01-24 14:26:28 +08:00
@hackingwu 每天的常规测试,晚上编译最新版本自动跑完所有的 test case, 发测试报告。 把每天的报告统计下就可以做很多报告了,
如开发人员代码质量, 通过统计每天常规测试通过率。
如测试代码覆盖率, 通过统计每天的测试代码覆盖率,可以知道测试部门测试用例是否可以跟上开发进度
.......
有用的东西都是要得罪人,如果没有相应的规章或(老板支持)基本是做不下去的。
c8c
2022-01-24 15:50:46 +08:00
既然是自动化测试,那么测试执行时间肯定是要大大缩短了啊。譬如同样 100 个 测试用例,手动跑需要一个星期,用自动化测试 3 天就好了。

这不就是提高么?
nullboy
2022-01-24 17:56:10 +08:00
自动化测试平台 == 没卵用
nanlou
2022-01-24 18:17:12 +08:00
线下问题拦截率,线上问题拦截率,线上召回数量,人效,ROI 计算 blabla 一大堆指标...
SmiteChow
2022-01-25 09:57:12 +08:00
证明不了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/830228

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX