研究揭示模型在提取任务中会填充列表以满足最小数量要求
先了解这件事
这篇针对八个开源权重模型和六个托管服务的预注册研究证实，当文档中实际项目少于 Schema 设定的最小数量时，模型倾向于将计数视为必须达成的目标而非硬性约束，导致列表被人为填充。实验显示，这种未强制执行的最低要求使长于真实计数的列表比例从 34.5% 上升至 55.4%，且填充内容多源自文档原文，约半数能通过来源验证检查，使得此类错误极难被常规逻辑校验发现。 研究测试了多种常见修复方案的效果，发现均存在明显缺陷：仅声明“允许更少项目”虽能平均消除填充效应但会漏检更多真实条目；在文本中加入“最多 k 个”的描述反而加剧了过度计数；即便在强制执行的最小值下提供 N/A 选项，仍有半数列表被填充；而通过验证错误重新询问则会导致填充行为更加普遍。这些结果基于 558 份来自九个标注数据集的真实文档测试得出。 事实层面确认了模型对 Schema 最小值的误读机制，推断表明当前 RAG 提取管道若依赖 Schema 定义的数量约束进行质量评估，可能产生虚假的高置信度结果。对于工程实践而言，单纯依靠 Prompt 中的自然语言提示或简单的重试机制无法根本解决此问题，需重新设计验证逻辑以区分真实缺失与模型生成的填充内容。
摘自 arXiv cs.CL
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.CL精选Open-Weight 模型在 Schema 设定最小数量时会填充列表以匹配该数值
这篇针对八个开源权重模型和六个托管服务的预注册研究证实，当文档中实际项目少于 Schema 设定的最小数量时，模型倾向于将计数视为必须达成的目标而非硬性约束，导致列表被人为填充。实验显示，这种未强制执行的最低要求使长于真实计数的列表比例从 34.5% 上升至 55.4%，且填充内容多源自文档原文，约半数能通过来源验证检查，使得此类错误极难被常规逻辑校验发现。 研究测试了多种常见修复方案的效果，发现均存在明显缺陷：仅声明“允许更少项目”虽能平均消除填充效应但会漏检更多真实条目；在文本中加入“最多 k 个”的描述反而加剧了过度计数；即便在强制执行的最小值下提供 N/A 选项，仍有半数列表被填充；而通过验证错误重新询问则会导致填充行为更加普遍。这些结果基于 558 份来自九个标注数据集的真实文档测试得出。 事实层面确认了模型对 Schema 最小值的误读机制，推断表明当前 RAG 提取管道若依赖 Schema 定义的数量约束进行质量评估，可能产生虚假的高置信度结果。对于工程实践而言，单纯依靠 Prompt 中的自然语言提示或简单的重试机制无法根本解决此问题，需重新设计验证逻辑以区分真实缺失与模型生成的填充内容。
本事件热度走势
当前热度 9·可比范围峰值 9（10月23日 14:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。