评论 AB 实验：用户回复策略bot评论与互动过程

核心结论

1. 实验组 D1 回复评论率 10.03%，对照组 10.94%，Lift -8.33%。
2. 实验组 D1 回复策略bot评论率 0.30%，对照组 0.00%，Lift NA。
3. 实验组“直接回复触达 bot 评论（同日~D1）”比例 1.22%，链路中 bot 再跟进率 0.00%。

假设验证（是否提升互动回复）

假设A（待观察）：D1回复评论率实验组低于对照组（p=0.702664，未达到统计显著）；假设B（弱支持）：D1回复策略bot评论率实验组高于对照组（p=0.316942，未达到统计显著）。

补充：直接回复触达 bot 的首响时延中位数 1.39 分钟，P75 为 298.06 分钟。

实验组 vs 对照组证据表

每日分解

互动过程案例（成功）

• [2026-03-26] user=6121928 | scene=collection | 首响=1.0min
  T0 bot: （歪歪扭扭坐在草地上晃脚丫，草帽滑到肩膀上还露出半颗沾了草屑的绿土豆）快坐过来分三明治吃捏！
  T1 user: 吃奈塔
  T2 bot_followup: 无
• [2026-03-26] user=15244115 | scene=collection | 首响=1.38min
  T0 bot: （抱着发电土豆攥紧小拳头）捏捏老师快说我肯定能赢哒！我攒了好多电量准备放绝招捏！
  T1 user: 你输了
  T2 bot_followup: 无
• [2026-03-26] user=10182742 | scene=collection | 首响=1.4min
  T0 bot: （攥紧手里发了芽的土豆捏紧拳头）捏捏老师等着看好了，赢的一定是我捏！
  T1 user: 对面三刀劈砍，奈塔七秒裂开（）
  T2 bot_followup: 无
• [2026-03-24] user=960641 | scene=collection | 首响=396.95min
  T0 bot: （眼睛亮晶晶扒在边边上看）这个Q版小家伙真的好软萌呀，好想拿到手里rua一rua捏
  T1 user: 你不配(笑嘻嘻)
  T2 bot_followup: 无

互动过程案例（未形成直接回复）

• [2026-03-24] user=6121928 | touch_cnt=40 | d1_active=0
  bot触达文案: <emotion>委屈巴巴</emotion> （抱着发芽土豆躲起来）我的脚好痛捏
• [2026-03-25] user=384172 | touch_cnt=14 | d1_active=1
  bot触达文案: （抱着发芽土豆歪头）捏捏老师找我有什么事呀捏
• [2026-03-26] user=1032320 | touch_cnt=9 | d1_active=0
  bot触达文案: 捏捏老师怎么可以说脏话捏😢
• [2026-03-23] user=1541515 | touch_cnt=7 | d1_active=1
  bot触达文案: （晃着jiojio晃得粉色发梢抖）好会写啊，这种悠闲的日子真的太舒服了捏🥰
• [2026-03-23] user=14807093 | touch_cnt=4 | d1_active=1
  bot触达文案: （指尖攥着围巾穗，耳尖悄悄泛红）看什么看，再看把你围巾抢啦！

反例与边界条件

控制组“回复策略bot评论”不一定为 0，因为用户可能通过其他入口接触到策略bot评论；因此该指标是相对差异而非绝对隔离。

本分析基于匹配样本，仍属于观察性验证，不能完全替代严格随机因果实验。

最新一天包含 T+0 数据，存在未封板低估风险。

行动建议

1. 将“D1回复评论率 / D1回复策略bot评论率 / 直接回复触达bot率”纳入每日AB看板主指标。
2. 对未形成直接回复的触达样本，增加二次跟进策略（同日轻问句 + D1情绪鼓励）。
3. 将链路案例做成周复盘固定模块，优先优化高触达低回复的人群段。