跳到正文
原文
arXiv cs.AI· Zhizhuo Kou, Jian Yang, Pengfei Hao, Junyu Luo, Jingshu Peng, Sirui Han, Yike Guo·· 5 小时前AI 评分65

思考型模型在推理时会将逻辑词读作字面意思并取消隐含意义

Entertain, then Cancel: How Thinking Makes Reasoning Models Read Some and Or Literally

AI 摘要

这篇来自 arXiv 的论文通过固定权重仅改变思考时长,直接测试了推理模型对日常语言隐含意义的处理机制。研究发现,当模型进行更多思考时,GPT-5 及多数开源推理模型倾向于将 some(一些)和 or(或)等逻辑词按字面逻辑解读,从而取消了“并非全部”或“非两者同时”的语用隐含意义。相反,基于上下文的推断如间接回答则得到改善。

追踪分析显示,模型在生成过程中会先“娱乐”(entertain)包含隐含意义的丰富解读,随后在后续思考阶段将其取消。如果答案直接从早期阅读中提取,这种探索性的推理时补救措施可以恢复隐含意义,同时不损失字面准确性。这一发现表明,当前的评估体系若仅关注最终答案的准确性,可能无法捕捉模型在语言理解层面的真实行为偏差。

事实层面,该研究证实了思考时长与逻辑词解读方式存在因果关系;推断层面,这意味着现有的基准测试可能高估了模型在自然对话中的语用能力;猜测层面,未来针对 Agent 或人机交互的应用可能需要显式控制思考深度以保留或放弃特定语用含义,但这需要进一步验证。

来源:arXiv cs.AI · arxiv.org