跳到正文
原文
arXiv cs.CL· Yanru Xiao, Yingwei Yu·· 4 小时前AI 评分70

配备搜索功能的 LLM Agent 在认知偏差签名上呈现分阶段分析结果

Cognitive Bias Signatures in Search-Equipped LLM Agents: A Stage-Resolved Analysis

AI 摘要

该研究通过构建受控搜索环境,分析了初始假设、检索结果顺序及先前工作记录如何塑造 LLM Agent 的证据发现与使用过程。在保持问题和文档集合固定的条件下,作者对比了 10 个模型在 1,000 个合成搜索世界中的表现,发现最终答案在主动搜索过程中对初始证据顺序的敏感度,显著高于所有证据一次性全量供给时的情况。

关键证据显示,死胡同(dead-end)历史记录会导致策略切换频率低于匹配的中和历史记录,这种效应超出了上下文长度的影响范围。研究还区分了错误假设下的检索减少或文档打开失败,与在打开反证后依然持续的错误。探索性干预表明,更频繁地打开反证有时反而伴随准确率下降,而准确率提升可能发生在文档打开次数几乎没有变化的情况下。

事实层面,该实验量化了搜索路径依赖对 Agent 决策的具体影响机制;推断层面,这意味着当前基于 RAG 或搜索增强的 Agent 系统若缺乏对初始查询和早期检索结果的校准,可能陷入难以纠正的认知偏差闭环;猜测层面,单纯增加反证材料的可见度未必能解决幻觉问题,可能需要引入外部干预机制来强制打破早期的搜索路径锁定。

来源:arXiv cs.CL · arxiv.org