灰度测试

灰度测试也叫灰度发布、金丝雀测试、

起源是,矿井工人发现,金丝雀对瓦斯气体很敏感,矿工会在下井之前,先放一只金丝雀到井中,如果金丝雀不叫了,就代表瓦斯浓度高。
在某项产品或应用正式发布前,选择特定人群试用,逐步扩大其试用者数量,以便及时发现和纠正其中的问题

灰度测试是程序在开发完成,测试人员全部测试通过,这个时候程序已经相对稳定,开发团队会将程序的升级功能只开放给部分用户,这部分用户使用过程中会出现一些bug,程序得检测功能会将bug日志上报到开发团队,开发人员再进行修改,修改完成之后才向全部用户发送升级通知,这个过程就叫做灰度测试。

灰度放量

逐步扩大使用群体范围

A/B测试

让一部分用户继续用产品特性A,一部分用户开始用产品特性B,如果用户对B没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B上面来。

灰度测试

A/B测试

时间周期

一般在新版本早期

一般贯穿整个生命周期

目的

验证新版本工程正确性。如:可靠性、功能特性、性能、易用性等

优化用户使用的各方面特性

用户人群

对用户人群的属性和数量没有特殊要求

对用户人群的属性和数量有较高要求

功能特性

过程中一般不修改

持续不断修改版本的界面和流程、以便实现最优设计

实施方法

采集数据,分析是否有功能缺陷

(bug)、性能问题、稳定性问题、易用

性问题等

有规范的过程步骤:提出假设,设定目标,制作版

本、分析结果等。有严格的数理统计算法,判断结果

的可信度