MemDev-Bench 评测显示记忆系统在代码智能体中主要提升定位与编辑但易引发错误

arXiv cs.AI 发布的 MemDev-Bench 研究通过构建包含 4,869 个历史任务的真实仓库演化数据集，系统性评估了记忆系统对代码智能体的影响，发现记忆机制在提升细粒度定位和编辑功能正确性的同时，也显著增加了任务失败率。

该研究指出，当智能体直接复用记忆内容而未重新评估其与当前任务的适用性时，会引发原本可解决的失败；无关的历史记忆进一步加剧了这一风险。此外，对比实验显示，直接向智能体提供原始历史轨迹而非经过压缩的记忆表示，能大幅减少完成任务所需的步骤数，因为压缩过程往往遗漏了关键的流程信息。

事实层面，该基准测试覆盖了 555 个基础任务和多样化的开发场景，证明了现有基准缺乏时间有效性历史和任务相关性控制的缺陷。推断层面，未来的记忆系统设计必须解决两个核心问题：一是保留完整的执行过程信息以避免步骤冗余，二是建立针对当前上下文的记忆适用性重评估机制。猜测层面，若无法解决上述问题，单纯增加记忆容量可能无法带来预期的效率提升，反而成为性能瓶颈。