当项目还在需求阶段或者开发正在写代码时使用此技能——这时候介入能花最小的成本避免最多的缺陷。从需求可测试性评审(需求模糊/矛盾/不可测)、开发阶段测试设计(单元测试/接口契约/测试桩)和技术方案评审(影响面分析/风险识别)三个维度提前发现缺陷。越早发现 Bug 修复成本越低——需求阶段的 Bug 修复成本是线上阶段的 1/100。输出左移检查清单和阶段性介入记录。 本技能属于 QA Test Skills 技能集(49 个技能之一),完整工作流体验需安装全套:npx skills add Kokxi/qa-test-skills
编程
测试右移
试用当功能已经上线了但还担心线上质量、或者需要设计灰度发布后的验证方案时使用此技能。通过生产监控(APM/日志/用户反馈)、线上巡检拨测、A/B 验证和混沌工程将测试延伸到生产环境。不要把上线当成终点——用户在生产环境的使用方式是永远测不全的。输出右移验证方案(灰度监控指标 + 拨测用例 + 告警阈值 + 回滚触发条件)。 本技能属于 QA Test Skills 技能集(49 个技能之一),完整工作流体验需安装全套:npx skills add Kokxi/qa-test-skills
它能做什么
当功能已经上线了但还担心线上质量、或者需要设计灰度发布后的验证方案时使用此技能。通过生产监控(APM/日志/用户反馈)、线上巡检拨测、A/B 验证和混沌工程将测试延伸到生产环境。不要把上线当成终点——用户在生产环境的使用方式是永远测不全的。输出右移验证方案(灰度监控指标 + 拨测用例 + 告警阈值 + 回滚触发条件)。 本技能属于 QA Test Skills 技能集(49 个技能之一),完整工作流体验需安装全套:npx skills add Kokxi/qa-test-skills
技能文档
测试右移实践
核心原则
测试右移——在生产环境验证质量,持续监控和改进。
⚠️ 安全警告:使用本技能前必须确认以下条件
生产环境操作: 本技能涉及灰度发布、线上监控、混沌工程等生产环境操作。执行前必须获得团队/组织的明确书面授权。
用户隐私: 涉及用户行为分析、埋点数据收集时,必须确保已获得用户知情同意,并符合数据保护法规(如GDPR/PIPL)要求。
爆炸半径控制: 混沌工程实验必须先在小范围(非生产/影子环境)验证,逐步扩大。必须设置熔断机制和自动回滚,确保故障影响在可控范围内。
回滚预案: 任何灰度发布必须预先准备回滚方案,定义明确的回滚触发条件(错误率、业务指标异常阈值),并确保回滚流程经过演练。
禁止场景: 禁止在生产环境直接执行未经审批的混沌实验、禁止在未告知用户的情况下收集行为数据、禁止在无回滚方案的情况下全量发布。
右移阶段
阶段1:灰度发布
📌 本节与 qa-release-risk-governance「灰度策略设计」内容同步,修改时请同步更新两处。
灰度策略:
├─ 用户灰度
│ ├─ 内部员工 → 白名单用户 → 10% → 50% → 100%
│ ├─ 适用:新功能、高风险功能
│ └─ 监控:业务指标、错误率、用户反馈
│
├─ 流量灰度
│ ├─ 1% → 10% → 30% → 50% → 100%
│ ├─ 适用:性能优化、算法变更
│ └─ 监控:性能指标、资源使用
│
├─ 地域灰度
│ ├─ 某城市 → 某省份 → 全国
│ ├─ 适用:地域性功能
│ └─ 监控:地域指标、用户反馈
│
└─ 时间灰度
├─ 低峰期 → 高峰期
├─ 适用:定时任务、批处理
└─ 监控:执行结果、资源使用
灰度监控
监控指标:
├─ 业务指标
│ ├─ 订单量/交易量
│ ├─ 转化率/成功率
│ └─ 用户活跃度
│
├─ 技术指标
│ ├─ 错误率/异常率
│ ├─ 响应时间/吞吐量
│ └─ 资源使用率
│
└─ 用户反馈
├─ 投诉量
├─ 客服咨询量
└─ 社交媒体反馈
灰度回滚
回滚条件:
├─ 业务指标异常
│ ├─ 订单量下降 > 20%
│ ├─ 成功率下降 > 5%
│ └─ 用户投诉增加 > 50%
│
├─ 技术指标异常
│ ├─ 错误率 > 1%
│ ├─ 响应时间增加 > 50%
│ └─ CPU/内存使用率 > 80%
│
└─ 用户反馈异常
├─ 投诉量激增
└─ 负面舆情
阶段2:线上监控
监控体系:
├─ 业务监控
│ ├─ 核心业务指标
│ ├─ 业务流程监控
│ └─ 业务异常告警
│
├─ 技术监控
│ ├─ 应用性能监控(APM)
│ ├─ 基础设施监控
│ ├─ 日志监控
│ └─ 链路追踪
│
└─ 用户体验监控
├─ 前端性能监控
├─ 用户行为分析
└─ 用户反馈收集
监控工具
├─ APM工具
│ ├─ SkyWalking
│ ├─ Pinpoint
│ ├─ Jaeger
│ └─ Zipkin
│
├─ 日志工具
│ ├─ ELK Stack
│ ├─ Loki
│ └─ Splunk
│
├─ 告警工具
│ ├─ Prometheus + Alertmanager
│ ├─ Grafana
│ └─ PagerDuty
│
└─ 用户体验工具
├─ 前端监控:Sentry
├─ 用户行为:Mixpanel
└─ 用户反馈:Hotjar
阶段3:混沌工程
混沌工程原则:
├─ 稳态假设:系统在故障下应保持稳态
├─ 爆炸半径:控制故障影响范围
├─ 持续实验:持续验证系统韧性
└─ 自动化:自动化故障注入和恢复
故障类型:
├─ 基础设施故障
│ ├─ 网络延迟/丢包
│ ├─ 节点宕机
│ ├─ 磁盘故障
│ └─ CPU/内存压力
│
├─ 应用层故障
│ ├─ 服务不可用
│ ├─ 接口超时
│ ├─ 数据库故障
│ └─ 缓存故障
│
└─ 业务层故障
├─ 第三方服务故障
├─ 数据不一致
└─ 流量突增
混沌工程工具
├─ Chaos Monkey
│ ├─ 用途:随机终止实例
│ ├─ 适用:AWS环境
│ └─ 特点:Netflix开源
│
├─ Chaos Mesh
│ ├─ 用途:Kubernetes故障注入
│ ├─ 适用:K8s环境
│ └─ 特点:功能全面
│
├─ Litmus
│ ├─ 用途:云原生混沌工程
│ ├─ 适用:K8s环境
│ └─ 特点:CNCF项目
│
└─ Gremlin
├─ 用途:商业混沌工程平台
├─ 适用:多云环境
└─ 特点:企业级支持
输出示例
功能发布后需要验证线上质量 → 右移实践:
- 灰度发布:5%用户→24小时→逐步全量
- 线上监控:接口错误率、页面性能、用户行为埋点
- 混沌工程:模拟支付服务故障,验证降级策略
用户说"上线后出了问题怎么办" → 启动测试右移:灰度策略+监控+混沌工程+回滚方案全套方案
检查清单
测试右移实施后检查:
- 灰度策略是否设计?
- 监控体系是否建立?
- 告警规则是否配置?
- 回滚方案是否准备?
- 混沌工程是否实施?
- 线上问题是否跟踪?
相关技能
当版本要发布了、需要决定"能不能发"、或者需要设计灰度/回滚方案时使用此技能。系统化评估变更风险(变更范围/影响面/回退成本),设计灰度发布策略(按用户/区域/流量比例),制定回滚方案和线上监控计划。不要问"这个版本稳不稳"——要问"如果出问题了,我们能在几分钟内发现并回滚"。产出发布风险评估报告和灰度发布方案。 本技能属于 QA Test Skills 技能集(49 个技能之一),完整工作流体验需安装全套:npx skills add Kokxi/qa-test-skills
当团队里有测试新人需要带、想提升团队整体测试水平、或者需要把个人经验转化为团队能力时使用此技能。通过 Pair 测试、经验分享、checklist 沉淀、模板建设和培训材料等方式赋能团队。不要等着新人犯错再教——好的赋能是提前给工具和方法论,让新人在第一次做之前就知道"正确的做法是什么"。 本技能属于 QA Test Skills 技能集(49 个技能之一),完整工作流体验需安装全套:npx skills add Kokxi/qa-test-skills
在最终输出前对测试用例做最后一轮防幻觉验证:事实核查(引用的需求ID是否存在)、一致性检查(用例之间是否矛盾)、可执行性验证(步骤是否能实际操作)、来源追溯(每个用例是否能追溯到具体需求)。当测试用例已经生成完毕、准备输出了,但你不确定AI有没有编造不存在的功能或需求时,应当使用此技能。这是整个工作流的最终质量守门——如果验证失败,必须返回问题清单要求修正,不得跳过。 本技能属于 QA Test Skills 技能集(49 个技能之一),完整工作流体验需安装全套:npx skills add Kokxi/qa-test-skills
当开发提了 PR、代码变更需要确定测试范围、或者想通过分析代码来预测可能出 Bug 的区域时使用此技能。从测试视角分析代码变更的影响范围、识别高危模式和典型风险区域。不要看完整代码逻辑——你只需要关注变更类型(新增/修改/删除/重构)、影响范围(接口定义/数据库字段/业务逻辑)和相关依赖,据此确定最小回归测试范围。输出代码变更影响分析报告。 本技能属于 QA Test Skills 技能集(49 个技能之一),完整工作流体验需安装全套:npx skills add Kokxi/qa-test-skills
当需要测试 iOS/Android 原生 App、H5 页面或小程序的移动端专项场景时使用此技能。移动端的坑主要不在功能逻辑上——中断(电话/通知/低电量)、弱网/断网/网络切换、前后台切换、系统权限管理、多机型适配和各种系统版本兼容才是重灾区。不要只测功能流程,移动端的 Bug 有一半以上是中断和兼容性相关的。输出按中断/网络/权限/兼容/性能分类的测试要点清单。 本技能属于 QA Test Skills 技能集(49 个技能之一),完整工作流体验需安装全套:npx skills add Kokxi/qa-test-skills