新研究提出无辅助分数替代增益指标以判定Agent技能内化

该论文指出当前基于增益（gain）的规则在判断大模型是否已内化公共技能库中的技能时存在严重缺陷，无法区分模型真正掌握技能与任务本身无需技能两种情况。作者提出一种新的评估方法：直接隐藏技能并让模型在无辅助状态下完成任务，仅当另一模型能从该技能中获益时才采信高无辅助分数，以此作为技能可退役的依据。 实证数据显示，现有增益规则在单一任务下会错误移除超过一半的未覆盖技能；而在 SkillsBench 基准上，28 个退役决策基于从未完全通过的探针。相比之下，新方法（无辅助判决）在不同任务间的一致性更高（Cohen's kappa 0.42 vs 0.23），且未发现明显的性能损失。研究团队发布了包含 1,251 个技能、对应任务及四个模型评分的数据集。 事实层面，该方法显著提升了技能内化判定的可靠性，但不同模型间的结果仍存在差异，要求技能库需按模型分别读取判决。推断层面，这意味着未来的 Agent 技能管理将从通用库转向更精细化的模型特定配置。猜测层面，若行业广泛采纳此标准，可能导致部分长期保留的技能被过早移除，需建立跨模型的动态验证机制以避免能力退化。