评论 AB 实验每日监测

核心结论

1. 触达活跃占比（日均）1.25%，最近一日（2026-03-26）为 1.27% 。
2. 本周 PSM 匹配样本对 329，D1活跃 Lift 21.39%，D1发帖 Lift 34.07%。
3. D1评论 Lift -19.67%，说明“创作意愿”提升更明显，但“评论互动”仍需补强。

假设验证

假设A（支持）：D1活跃率实验组 63.83%，对照组 52.58%，Lift 21.39%。

假设B（支持）：D1发帖率实验组 55.02%，对照组 41.03%，Lift 34.07%。

假设C（不支持）：D1评论率实验组 29.79%，对照组 37.08%，Lift -19.67%。

每日触达活跃 vs 其他活跃

对象: 非 bot、非 internal 用户。指标: 当日触达且活跃用户数、当日其他活跃用户数。

触达活跃占比（%）

指标定义: touched_active_users / active_non_bot_users。

本周 PSM 每日验证

方法: 倾向得分 + 同日分层最近邻匹配（无放回）。

匹配平衡性 (SMD)

绝对值越接近 0 越好；用于观察匹配前后样本可比性改善。

描述性日级明细

用于每日巡检触达覆盖与活跃盘子大小。

每日 AB 分组执行

清单文件: /Users/rating/workspace/neta-bi-runtime/task/20260127_AI评论策略整合/history/20260326_comment_ab_bot_participation_daily/data/csv/daily_ab_assignment_plan_20260326.csv

规则: 触达用户强制进入实验组，其余用户按 propensity decile 随机平衡至实验/对照。

反例与边界条件

如果当天触达用户画像偏向高预热人群，实验组表现可能被高估；如果最新日数据未封板，D1 指标可能被低估。

当前为观察性匹配验证，结论用于策略迭代优先级，不替代严格随机因果实验。

行动建议

1. 优先优化“评论互动”子目标：对实验组追加轻问句二次触达，验证 D1评论率是否回升。
2. 维持“创作意愿”优势文案：延续高发帖 Lift 的风格组合，并按新老用户分层投放。
3. 每日复盘匹配样本构成与触达占比，避免样本结构波动掩盖真实策略效果。