AI 入门与核查AI 应用

AI 说分类准确率86%就很好?用混淆矩阵核对精确率与召回率

“分类器准确率86%,可以放心上线”听起来完整,其实可能没回答最关键的问题:被推入紧急队列的工单里,有多少真的紧急?本篇用可以手算的100条练习数据,核对AI报告中的分母与业务判断。

不同颜色的串珠,作为分类结果与计数的摄影配图
配图:Lisa Woakes · Unsplash License

先明确任务与结果

先确定正类,再列出四格计数。本文自编例子TP=8、FP=12、FN=2、TN=78,准确率86%,但精确率只有40%,召回率80%。指标正确也不自动说明适合上线,还要看漏单与误报的代价和独立验收样本。

把“紧急”定义为正类

这是编辑部自编的客服分流练习,不是任何产品测试或真实客户数据。100条工单由人工参考标签分为10条紧急、90条常规;分类输出把20条推入紧急队列,其中8条确实紧急。

Google分类指标课程给出了这些指标的分母。本例固定在同一个阈值和同一批样本上计算,不把改变阈值后的计数与原计数混用。

原创练习的混淆矩阵:行是实际,列是预测
实际标签预测紧急预测常规行合计
紧急8(TP)2(FN)10
常规12(FP)78(TN)90
列合计2080100

四个指标回答四个不同问题

准确率=(8+78)/100=86%,问全部工单判对多少。精确率=8/(8+12)=40%,问紧急队列里有多少真的紧急。召回率=8/(8+2)=80%,问真实紧急工单被找出多少。

F1=2×8/(2×8+12+2)=16/30≈53.3%。它不是(40%+80%)/2=60%的算术平均。F1不包含TN,不能代替所有业务损失或整个系统体验。

保留分母,避免同名混用
指标本例计算对应问题
准确率86/100=86%所有预测中正确的比例
精确率8/20=40%被判紧急的工单是否可信
召回率8/10=80%实际紧急工单找回多少
F116/30≈53.3%精确率与召回率的调和平均

让AI先重建计数,再写报告

可以把表格和下方请求放入你有权使用的AI。若使用本站AI效率工作台,选择“数据解读与假设”,只输入练习数据。该功能在主动生成时将输入发到服务端;可用性和额度看页面提示。本文没有调用模型。

可复制的分类报告核查请求

这是自编练习,不是真实客户数据。正类=紧急工单。TP=8,FP=12,FN=2,TN=78。
先核对总数、实际正类数和预测正类数,再计算准确率、精确率、召回率与F1,逐项写分母。
比较“所有工单都判常规”的基线,解释为什么不能只按准确率选方案。
不要推断实际错误成本、上线可行性或模型优劣;列出决定前还缺的证据。
保留精确分数,最后再四舍五入。
原创核查请求;参考结果来自独立算术,不是AI实测输出。

一份参考答案怎样讨论90%的基线

把全部100条都判常规,可判对90条,准确率90%,高于前面的86%;但紧急召回率为0/10=0%。如果任务是找出紧急工单,这个基线说明高准确率可能掩盖任务失败。

基线没有任何预测紧急,精确率分母是0,按原始分数定义不能计算。不要未经说明把它填成100%或0%。报告应声明采用的零分母约定,保留“没有发出紧急预测”这个事实。

前一方案能找出8条紧急工单,也将12条常规工单推入队列。是否值得取决于处理能力、漏单后果及参考标签质量;本文没有给这些代价赋值,所以不会宣布哪个方案应直接上线。

修正一句听起来很专业的错误

问题示例

准确率86%,精确率和召回率平均为60%,说明紧急处理已经可靠。

修正参考

准确率86%、精确率40%、召回率80%、F1约53.3%;有12次误报和2次漏报,是否采用仍需业务验收。

错误把算术平均当F1,又把指标直接转成上线承诺。

验收数据而不只验收文案

先确认100条是不重复且完整的样本,标签标准一致,预测与真实标签逐条对齐。若AI在合并数据时复制了记录,四格计数就不再对应100个独立工单。分组混合的问题可参考分渠道和总体结果相反的案例。

再用未参与调参的独立样本与实际流程做验证,记录阈值、样本日期和标签规则。不要根据这100条练习数据编造置信区间、成本节省或厂商排名。百分比与百分点的分母核对可帮助检查报告里的第二类数值错误。

可复查报告应保留

  • 正类定义、阈值、四格计数与样本来源。
  • 总数100、实际紧急10、预测紧急20能够重建。
  • F1使用调和平均,零分母有明确处理规则。
  • 业务代价、独立样本与标签不确定性没有被隐藏。

常见问题

准确率更低的方案一定更差吗?

不一定。本例90%的全常规基线会漏掉全部紧急工单;应根据任务和错误代价比较,同时保留多个指标。

精确率和召回率可以交换名称吗?

不能。精确率分母是预测正类,召回率分母是实际正类;交换会把不同问题写成同一个结果。

这里的86%能证明某个AI产品性能吗?

不能。它来自自编计数,没有运行任何分类产品,不能用于产品能力、真实客户效果或上线保证。

参考资料与延伸阅读

按步骤开始处理

进入对应工具,预览处理结果,检查导出的文件。

这个主题的后续文章

沿着同一主题,继续阅读引用了本文的新文章。

继续阅读