spu_26_0317_2 AB 实验有效性复核

工作日高收入来自什么商品

default

• 全能无限电量24小时 | 收入 119.60 | 买家 2
• 月度捏捏神 | 收入 59.80 | 买家 2
• [首充福利]200电 | 收入 46.00 | 买家 46
• 300 电量 | 收入 33.00 | 买家 9
• 300电量 | 收入 23.20 | 买家 6

exp

• 无限捏图披萨包 | 收入 239.60 | 买家 4
• 19800电量 | 收入 198.00 | 买家 1
• 2400电量 | 收入 96.00 | 买家 4
• 全能无限电量24小时 | 收入 89.70 | 买家 3
• 月度捏捏神 | 收入 59.80 | 买家 2

周末商品结构

default

• 无限捏图披萨包 | 收入 59.90 | 买家 1
• 月度捏捏神 | 收入 29.90 | 买家 1
• 300电量 | 收入 17.40 | 买家 1
• 1200电量 | 收入 9.90 | 买家 1
• [首充福利]200电 | 收入 7.00 | 买家 7

exp

• 季度捏捏神 | 收入 69.90 | 买家 1
• 300 电量 | 收入 11.60 | 买家 2
• [首充福利]200电 | 收入 2.00 | 买家 2
• 200电量 | 收入 2.00 | 买家 2

Fact

• AB 实验 `spu_26_0317_2`（id=31）处于 RUNNING，规则显示仅针对“7天内新用户”。
• ab_experiment_group_user 到 user 的 UUID 映射覆盖率 100%，口径链路可靠。
• 有效实验窗内整体 D3 付费转化：default=4.04%，exp=3.40%。
• 有效实验窗内 D7 付费转化：default=3.23%，exp=3.50%，但只覆盖 2026-03-23 单日 cohort。
• 节假日前关键 cohort 到周末结束的付费转化：default=4.09%，exp=3.45%。

Interpretation

• 从有效窗看，实验更像是在工作日放大了少量高客单用户的付费金额，而不是稳定抬升了广泛用户的付费转化。
• 如果清明节流量结构更接近周末，那么上线风险会从“少量高客单贡献”切回“买家数不足”，这正是当前 exp 没证明自己能扛住的部分。
• 因此现在更像是一个可继续观察和定向放量的策略，而不是可以放心全量的策略。

Unknown

• 有效实验窗实际上只有 2026-03-23 至 2026-03-30，样本期很短，清明三天长假是否会放大或抵消这一现象仍未知。
• 尚未将站内流量来源、支付入口位置、商品曝光策略单独拆出，无法确认周末反转到底是用户心智变化还是流量结构变化。
• 尚未做更细的商品级实验因果拆分，无法判断是否应只上线高价商品相关策略。

Confidence

Level 2

实验分组是真实 AB，映射链路可靠；但按你修正后的有效窗只剩 2026-03-23 至 2026-03-30，整体 D3、D7 和关键 weekend slice 都没有显著正向结果，D7 甚至只覆盖单日 cohort，因此更适合保守判断。

这份报告能回答什么

• 能回答：按 2026-03-23 至 2026-03-30 的有效实验窗，这个策略是否已经证明自己适合在清明前直接全量。
• 当前答案：不能证明。证据更支持“先保守，不要直接全量”。
• 不能回答：如果继续跑更长时间，或只在部分商品/人群放量，策略最终是否能跑成正向。

建议动作

• 清明前不要直接 100% 全量上线，优先维持 AB 或只做小比例灰度。
• 如果业务必须上线，建议限定在高价商品/高 ARPPU 场景，并单独监控买家数下滑风险。
• 清明三天必须按日盯三项 guardrail：付费用户数、收入、首充福利商品占比。