ImplicitHop 论文揭示大模型在跨上下文与记忆的知识整合中存在推理深度衰减且上下文信息显著优于预训练权重

该研究提出 ImplicitHop 基准，通过形式化图任务和真实世界知识图谱任务，评估大语言模型在不同推理深度下的知识整合能力。实验对比了编码在上下文中的信息与编码在预训练权重中的信息，发现无论哪种来源，随着组合长度增加，准确率均急剧下降；但上下文提供的信息在演绎推理上显著优于预训练权重中的知识。

核心证据显示，当前模型在处理需要多步推导的长程依赖时存在根本性局限，这种衰减现象在隐式推理（无思维链）场景下尤为明显。研究未引入 CoT 机制，排除了提示工程对结果的干扰，直接反映了模型架构在信息传播和全局一致性上的瓶颈。这意味着仅靠增加上下文窗口或微调预训练数据，难以解决深层逻辑链条的断裂问题。

推断表明，基于 Prompt 控制 Agent 行为或设计持续学习策略时，必须承认模型无法可靠地利用预训练知识进行长距离因果推导，应优先依赖实时注入的上下文事实。猜测部分认为，未来若需支持更深推理，可能需要改变训练目标或引入显式的中间状态存储机制，而非单纯优化参数规模。事实层面确认的是：当前模型在跨源知识整合上存在可量化的性能衰减，且上下文输入具有压倒性优势。