ImplicitHop：大模型跨上下文知识整合存在推理衰减

该研究提出 ImplicitHop 基准，通过形式化图任务和真实世界知识图谱任务，评估大语言模型在不同推理深度下的知识整合能力。实验对比了编码在上下文中的信息与编码在预训练权重中的信息，发现无论哪种来源，随着组合长度增加，准确率均急剧下降；但上下文提供的信息在演绎推理上显著优于预训练权重中的知识。 核心证据显示，当前模型在处理需要多步推导的长程依赖时存在根本性局限，这种衰减现象在隐式推理（无思维链）场景下尤为明显。研究未引入 CoT 机制，排除了提示工程对结果的干扰，直接反映了模型架构在信息传播和全局一致性上的瓶颈。这意味着仅靠增加上下文窗口或微调预训练数据，难以解决深层逻辑链条的断裂问题。 推断表明，基于 Prompt 控制 Agent 行为或设计持续学习策略时，必须承认模型无法可靠地利用预训练知识进行长距离因果推导，应优先依赖实时注入的上下文事实。猜测部分认为，未来若需支持更深推理，可能需要改变训练目标或引入显式的中间状态存储机制，而非单纯优化参数规模。事实层面确认的是：当前模型在跨源知识整合上存在可量化的性能衰减，且上下文输入具有压倒性优势。