SITO基准评估Tuteliq Detect API误报与漏报

这篇论文发布了一个名为 SITO 的合成独立文本安全基准，用于评估商业文本安全 API（具体为 Tuteliq Detect v5.20261011）在英语、乌克兰语和混合语中的表现。研究覆盖了授权转账诈骗、洗钱招募、社会工程、浪漫骗局、赌博伤害和霸凌六类危害，构建了 2,332 个合成案例，包含有害内容与经过微调的无害对比样本。 实测数据显示，在英语文本上，该系统的召回率在 84.9% 至 94.1% 之间，误报率为 0% 至 4.3%。关键发现是系统对第三方报告的持续伤害行为的漏报率显著高于对施害者直接发言的检测：所有语言下，前者召回率为 63.6%，而后者高达 95.1%，这通常发生在未启用 API 提供的特定举报设置时。此外，乌克兰语和混合语的检测率不低于英语，但在未见过的生成器家族文本上召回率较低，且 3.2% 的案例在重复运行中出现了决策不一致。 事实层面，该研究证实了当前商业 API 在处理旁观者举报场景下的能力短板，并指出文档未量化误报率的问题。推断层面，平台若依赖此类 API 处理用户举报，可能面临大量漏报风险，需自行测量其流量上的误报率并调整配置。猜测层面，由于部分数据来自特定生成器， headline recall 可能存在乐观偏差，实际部署效果需结合真实流量验证。数据集、生成提示词和代码已开源。