SOAR框架通过源感知强化学习减少搜索代理证据伪造

该研究针对搜索智能体在强化学习中常出现的证据伪造现象，即模型绕过外部信息而依赖不可靠的内部知识生成错误答案的问题，提出了名为 SOAR（Source-Aware Reinforcement Learning）的新范式。该方法通过将单一推理过程解耦为并行且可观察的外部信息流与内部知识流，实现了信息源归属的显式化，从而允许在不同知识流之间进行精确的信用分配。 实验数据显示，基于 3B 和 7B 骨干模型的 SOAR 分别在基准测试中提升了 7.3% 和 5.4% 的性能，同时将证据伪造率降低了 74.8%。这一成果依赖于其提出的“源感知工作流”以及用于引导策略演进的“源一致性奖励”机制，使得模型能够明确区分并评估来自不同来源的信息贡献。 事实层面，该论文已发布在 arXiv cs.CL 上，由 Shengze Huang 等人完成，包含 17 页正文及多项实验数据。推断层面，这种显式的源分离机制可能成为未来构建高可靠性 RAG 或搜索 Agent 的标准组件，因为它解决了传统黑盒推理难以审计的问题。猜测层面，虽然当前结果在特定基准上表现优异，但其在更复杂的多轮交互场景或大规模参数模型中的泛化能力仍需进一步验证。