AlphaDiana 系统实测显示智能体工具调用与记忆保留未必提升推理准确率

AlphaDiana 是一个用于可验证推理任务中智能体评估的测量系统，通过模块化接口连接数据集、智能体、环境和评分器，在保持原生控制循环的同时独立控制文件复用和内存保留。该研究在五个基于答案的基准和两个交互式基准上测试了三个开源模型和三个开源框架，发现智能体框架并不能一致性地提高推理准确率：模型单独无法解决的问题虽可能因工具而解决，但其在无工具时能正确回答的问题却常因引入工具而变错。

进一步分析表明，技能引导（skill guidance）和保留历史（retained history）等组件干预并未可靠地提升准确率。研究还指出行为与输出 token 的使用必须结合正确性来评估：低输出熵可能伴随着错误答案，而在准确率下降时，单次执行产生的总输出减少反而可能导致每个正确答案消耗的 token 数增加。这些发现揭示了当前智能体评估中常见的指标陷阱，即单纯关注资源消耗或生成长度可能掩盖真实的性能退化。

事实层面，该论文提供了 AlphaDiana 系统的架构设计与五组基准测试结果；推断层面，这意味着当前流行的“工具越多越好”或“记忆越长越准”的工程直觉缺乏实证支持；猜测层面，未来智能体优化可能需要从追求复杂流程转向更精细的任务 - 能力匹配机制，而非盲目堆叠工具链。