arXiv cs.AI· Hamed Khosravi, Xiaoming Huo·· 5 小时前AI 评分68
PRIME 论文提出预承诺规则与独立账本以验证 LLM Agent 的推理依据
PRIME: Towards Verifiable Evidence-Grounded Reasoning in LLM Agents
AI 摘要
该论文针对 LLM Agent 在处理组织合规检查(如漏洞报告审核)时容易接受未达标证据或得出较弱结论的问题,提出了 PRIME(Precommitted Rules for Inference from Minimal Evidence)框架。其核心机制是在执行检查前预先固定证据路径,并引入一个独立的程序来记录每次检查结果,仅允许由结果证明的结论通过,同时拒绝无法被证据支持的结论。
在包含 480 个公共记录任务的测试中,普通 Agent 在展示需求后仍有 26.7% 的任务输出了无根据的结论,而 PRIME 框架报告的无根据结论为零。此外,该框架提供的方向指引和额外检查将有效结论的平均得分从仅靠拒绝时的 30.1 分提升至满分 59.2 分中的最高值。这一结果证明了在特定约束下,通过外部规则锁定证据链能显著改善 Agent 的推理可靠性。
事实层面,PRIME 确实消除了测试集中的无根据结论并提升了得分;推断层面,这种架构可能成为解决 Agent 幻觉的关键工程手段,特别是对于需要严格审计的 B 端场景;猜测层面,该方法在动态、非结构化或预算受限环境下的泛化能力尚需验证,且“预承诺”机制对需求定义的精确度要求极高,若需求本身模糊则可能导致系统僵化。
来源:arXiv cs.AI · arxiv.org