AI 入门与核查AI 应用

AI说活动A更有效,为什么分渠道都输给B?用辛普森悖论核对汇总

一份AI总结可以算对总体转化率,却给出错误的决策口径:A的总体值高,并不代表在每个渠道也更好。本篇用四行自编数据解释辛普森悖论,把算数正确、比较对象和因果推断分开。

屏幕上的数据图表,作为分组与总体分析配图,并非本文案例结果
配图:1981 Digital · Unsplash License

先明确任务与结果

先同时计算每个渠道与整体的成功数/总数,再看流量构成。若两组渠道权重不同,总体排序可能反转。用共同权重能回答一个标准化的描述问题,但不能自动证明活动造成了结果。

原始数据:明确分子、分母与粒度

下表是编辑设计的练习,不是真实经营数据,也不是对某个模型的实测。每行描述一个活动在一个渠道的成功次数和合格机会数;练习假定这些机会可按表中分组相加。问题是“哪组在渠道内更高,以及哪组当前总体更高”,先不要写成“哪个活动导致了提升”。

四行自编输入
活动与渠道成功次数机会数渠道内比例
A / mobile9010090%
A / desktop11010%
B / mobile192095%
B / desktop168020%

参考计算:两种排名都能算对

A总体是(90+1)/(100+10)=91/110,约82.73%。B总体是(19+16)/(20+80)=35/100,即35%。如果任务只问这批机会整体观察到的成功比例,A确实更高。

分渠道看却是B在mobile以95%高于90%,在desktop以20%高于10%。这不是四则运算矛盾,而是两组进入总体的渠道构成不同。A约90.91%的机会来自较高比例的mobile,B只有20%。

修正一份编辑设计的错误总结

问题示例

A总体82.73%,B总体35%,所以A在所有渠道都更有效。

修正参考

A的当前总体观察值更高;B在两个渠道内都更高。总体与渠道内比较需要分别报告。

错误不在82.73%这个数,而在把总体结论扩展成“所有渠道”,并把观察值写成效果因果。

为什么不能把两个百分比直接平均

总体值是按各自机会数加权的比率。A的90%和10%不能不看100与10的分母就平均成50%,再称作原样本总体。可以参考加权平均还原总贡献检查这个环节。

如果问题改成“假设两组都各有一半mobile和一半desktop机会”,就可以明确采用相同权重。此时A=0.5×90%+0.5×10%=50%,B=0.5×95%+0.5×20%=57.5%。它是新设定下的标准化描述,不是原样本比例,也不是预测收益。

三种问题,三个不同口径
问题AB可以说什么
原样本总体82.73%35%A当前总体观察值更高
mobile渠道内90%95%B在此渠道观察值更高
各渠道各占50%50%57.5%同权重描述下B更高

给AI的任务应要求保留反转,而不是挑一个赢家

下面的请求可以用于重做总结。不要只要求一句结论,否则模型可能为了流畅叙述省略互相制约的比较口径。让输出保留原始计数、未四舍五入的计算过程和比较范围。

也可以打开本站的AI 效率工作台,选择“数据解读与假设”,将四行练习数据和上面的核查要求一起放入输入框。该功能由服务端 Gemini 生成,只有主动生成时才发送输入;可用性与使用额度以页面提示为准。本篇没有调用模型,参考答案来自独立计算。

带参考验收项的分析请求

使用文中的四行自编数据。分别计算每个渠道内和每个活动总体的成功数/机会数。说明渠道构成如何导致排序反转。再用mobile与desktop各50%的共同权重计算标准化比例,并标明它不是原样本总体。禁止把观察差异写成因果提升,不补造样本或显著性检验。最后给出三句话,分别报告总体、分渠道和未知条件。
先自己验算91/110与35/100,再比较模型的汇总行。

为什么标准化以后仍不能直接宣称因果

OpenStax实验设计章节说明混杂因素和随机分配在解释组间差异中的作用。本例没有提供随机分配、同一时期、相同用户构成或可比较曝光条件,因此不能只凭标准化比例认定“换成B就能增加7.5个百分点”。

渠道只是已经观察到的一个分组变量。两组也可能在受众、时段、设备归因或成功定义上不同。先核对这些定义和缺失记录;不要为了完成总结虚构置信区间、显著性或流量规模。报告百分比与百分点时,再按分母与百分点核查检查表达。

一份可交付的三句话结论

参考答案:在这批自编数据中,A总体成功比例约82.73%,高于B的35%;但B在mobile与desktop内分别以95%和20%高于A的90%和10%。不同渠道权重造成总体排序反转,若明确将两渠道各赋50%权重,A为50%、B为57.5%。这些都是描述性比较,资料不足以确认因果效果或统计显著性。

验收时还要检查生成图表。图上若只展示一个总体柱状图,读者看不到反转;可以并列放渠道表与总体结果,并把分母写在附近。图形更漂亮不能弥补比较对象被省略。

核对AI汇总的最小证据

  • 四行计数原样保留,没有合并掉渠道。
  • 整体先加成功数与机会数,再相除。
  • 共同权重明确标成假设,与原样本不同。
  • 结论没有把观察差异扩展成所有人、所有渠道或因果效果。

常见问题

出现反转就说明数据一定错了吗?

不一定。分组权重不同本来就可能造成反转,但仍应检查分母、重复记录、缺失和成功定义是否一致。

那应该只看分渠道,完全不看整体吗?

取决于问题。当前样本的总成功比例与同类渠道之间的比较都是有意义的问题,应分别报告,而不是删掉一个让结论单一。

50%/50%是推荐采用的真实权重吗?

不是。这只是为了展示共同权重的自编设定。实际标准化应说明目标人群与选择依据,不能直接沿用练习值。

参考资料与延伸阅读

按步骤开始处理

进入对应工具,预览处理结果,检查导出的文件。

这个主题的后续文章

沿着同一主题,继续阅读引用了本文的新文章。

继续阅读