先明确任务与结果
先确定正类,再列出四格计数。本文自编例子TP=8、FP=12、FN=2、TN=78,准确率86%,但精确率只有40%,召回率80%。指标正确也不自动说明适合上线,还要看漏单与误报的代价和独立验收样本。
把“紧急”定义为正类
这是编辑部自编的客服分流练习,不是任何产品测试或真实客户数据。100条工单由人工参考标签分为10条紧急、90条常规;分类输出把20条推入紧急队列,其中8条确实紧急。
Google分类指标课程给出了这些指标的分母。本例固定在同一个阈值和同一批样本上计算,不把改变阈值后的计数与原计数混用。
| 实际标签 | 预测紧急 | 预测常规 | 行合计 |
|---|---|---|---|
| 紧急 | 8(TP) | 2(FN) | 10 |
| 常规 | 12(FP) | 78(TN) | 90 |
| 列合计 | 20 | 80 | 100 |
四个指标回答四个不同问题
准确率=(8+78)/100=86%,问全部工单判对多少。精确率=8/(8+12)=40%,问紧急队列里有多少真的紧急。召回率=8/(8+2)=80%,问真实紧急工单被找出多少。
F1=2×8/(2×8+12+2)=16/30≈53.3%。它不是(40%+80%)/2=60%的算术平均。F1不包含TN,不能代替所有业务损失或整个系统体验。
| 指标 | 本例计算 | 对应问题 |
|---|---|---|
| 准确率 | 86/100=86% | 所有预测中正确的比例 |
| 精确率 | 8/20=40% | 被判紧急的工单是否可信 |
| 召回率 | 8/10=80% | 实际紧急工单找回多少 |
| F1 | 16/30≈53.3% | 精确率与召回率的调和平均 |
让AI先重建计数,再写报告
可以把表格和下方请求放入你有权使用的AI。若使用本站AI效率工作台,选择“数据解读与假设”,只输入练习数据。该功能在主动生成时将输入发到服务端;可用性和额度看页面提示。本文没有调用模型。
这是自编练习,不是真实客户数据。正类=紧急工单。TP=8,FP=12,FN=2,TN=78。
先核对总数、实际正类数和预测正类数,再计算准确率、精确率、召回率与F1,逐项写分母。
比较“所有工单都判常规”的基线,解释为什么不能只按准确率选方案。
不要推断实际错误成本、上线可行性或模型优劣;列出决定前还缺的证据。
保留精确分数,最后再四舍五入。一份参考答案怎样讨论90%的基线
把全部100条都判常规,可判对90条,准确率90%,高于前面的86%;但紧急召回率为0/10=0%。如果任务是找出紧急工单,这个基线说明高准确率可能掩盖任务失败。
基线没有任何预测紧急,精确率分母是0,按原始分数定义不能计算。不要未经说明把它填成100%或0%。报告应声明采用的零分母约定,保留“没有发出紧急预测”这个事实。
前一方案能找出8条紧急工单,也将12条常规工单推入队列。是否值得取决于处理能力、漏单后果及参考标签质量;本文没有给这些代价赋值,所以不会宣布哪个方案应直接上线。
修正一句听起来很专业的错误
准确率86%,精确率和召回率平均为60%,说明紧急处理已经可靠。
准确率86%、精确率40%、召回率80%、F1约53.3%;有12次误报和2次漏报,是否采用仍需业务验收。
验收数据而不只验收文案
先确认100条是不重复且完整的样本,标签标准一致,预测与真实标签逐条对齐。若AI在合并数据时复制了记录,四格计数就不再对应100个独立工单。分组混合的问题可参考分渠道和总体结果相反的案例。
再用未参与调参的独立样本与实际流程做验证,记录阈值、样本日期和标签规则。不要根据这100条练习数据编造置信区间、成本节省或厂商排名。百分比与百分点的分母核对可帮助检查报告里的第二类数值错误。
可复查报告应保留
- 正类定义、阈值、四格计数与样本来源。
- 总数100、实际紧急10、预测紧急20能够重建。
- F1使用调和平均,零分母有明确处理规则。
- 业务代价、独立样本与标签不确定性没有被隐藏。
常见问题
准确率更低的方案一定更差吗?
不一定。本例90%的全常规基线会漏掉全部紧急工单;应根据任务和错误代价比较,同时保留多个指标。
精确率和召回率可以交换名称吗?
不能。精确率分母是预测正类,召回率分母是实际正类;交换会把不同问题写成同一个结果。
这里的86%能证明某个AI产品性能吗?
不能。它来自自编计数,没有运行任何分类产品,不能用于产品能力、真实客户效果或上线保证。
参考资料与延伸阅读
按步骤开始处理
进入对应工具,预览处理结果,检查导出的文件。


