评论 AB 实验每日监测

核心结论

1. 实验参与用户占评论/发帖活跃用户（日均）2.65%。这不是站内 DAU 占比，而是窄口径活跃盘子占比。
2. 实验参与用户占站内活跃用户（日均）0.33%；评论/发帖活跃盘子占站内活跃用户（日均）12.57%。
3. 本周 PSM 匹配样本对 923，D1活跃 Lift 21.41%，D1发帖 Lift 48.13%。
4. D1评论 Lift -5.59%，说明“创作意愿”提升更明显，但“评论互动”仍需补强。

假设验证

假设A（支持）：D1活跃率实验组 52.22%，对照组 43.01%，Lift 21.41%。

假设B（支持）：D1发帖率实验组 38.68%，对照组 26.11%，Lift 48.13%。

假设C（不支持）：D1评论率实验组 31.09%，对照组 32.94%，Lift -5.59%。

每日实验参与人数与活跃盘子

对象: 非 bot、非 internal 用户。指标: 当日实验参与用户数、评论/发帖活跃用户数，以及可用时的站内活跃用户数。

实验参与占比（%）

红线: 实验参与用户 / 评论发帖活跃用户。蓝线: 实验参与用户 / 站内活跃用户（ByteHouse user_id 口径，可用时展示）。

本周 PSM 每日验证

方法: 倾向得分 + 同日分层最近邻匹配（无放回）。

匹配平衡性 (SMD)

绝对值越接近 0 越好；用于观察匹配前后样本可比性改善。

描述性日级明细

用于每日巡检触达覆盖与活跃盘子大小。

每日 AB 分组执行

清单文件: /Users/rating/workspace/neta-bi-runtime/task/20260127_AI评论策略整合/history/20260326_comment_ab_bot_participation_daily/data/csv/daily_ab_assignment_plan_20260407.csv

规则: 触达用户强制进入实验组，其余用户按 propensity decile 随机平衡至实验/对照。

反例与边界条件

如果当天触达用户画像偏向高预热人群，实验组表现可能被高估；如果最新日数据未封板，D1 指标可能被低估。

当前为观察性匹配验证，结论用于策略迭代优先级，不替代严格随机因果实验。

口径提醒: `comment_post_active_users` 仅代表“当日发评论或发作品”的窄口径活跃，不等同于站内 DAU。

行动建议

1. 优先优化“评论互动”子目标：对实验组追加轻问句二次触达，验证 D1评论率是否回升。
2. 维持“创作意愿”优势文案：延续高发帖 Lift 的风格组合，并按新老用户分层投放。
3. 每日复盘匹配样本构成与触达占比，避免样本结构波动掩盖真实策略效果。