独立审计显示廉价结构化内容审核模型准确率不输14个前沿推理模型但需解耦不确定性

该研究对一款名为System One的冻结型低成本内容审核模型进行了独立审计，在142,658条人工标注评论上测试发现，其零样本分类AUROC为0.83，与GPT-5.x、Claude、Gemini 3和Grok等14个前沿推理模型中的13个在统计上无显著差异，且校准度相当，但单次调用成本仅为约0.000025美元，比前沿模型低1-3个数量级。

核心发现在于揭示了“置信度”混淆了两种不同的不确定性：人类标注者之间的分歧（如讽刺或编码语言导致的判断分裂）与决策风险（即自动采取错误行动的成本）。在不对称的审核损失函数下，这两种情况需要相反的升级信号，因此单一的置信度数值无法同时服务两者。作者提出通过并行子问题分解来读取回答分布，从而恢复出原生置信度所遗漏的人类分歧信号，但这仅对最弱的、缺乏分歧感知能力的模型有效，且仅在分解方式与分歧来源对齐时生效，专业毒性模型和最强LLM并不需要此修正。

事实层面，该研究确认了低成本模型在大规模审核场景下的经济可行性与性能基线；推断层面，这意味着平台在构建审核系统时不应盲目追求最高阶模型，而应针对具体业务场景设计多信号评估机制；猜测层面，这种基于子问题分解的校准方法可能成为未来端侧或低成本部署中处理复杂语义歧义的标准范式，但其效果高度依赖数据分布与任务设计的匹配度。