跳到正文
原文
arXiv cs.AI· Xiaofan Li, Fengchun Qiao, Xing Gao·· 5 小时前AI 评分73

受控干预实验显示参数结构差异主导 MCP 系统中的 LLM 工具选择

Which Metadata Matters for LLM Tool Selection in MCP? Evidence from Controlled Factor-Level Interventions

AI 摘要

该论文通过针对五个大语言模型和五个任务的受控元数据干预实验,证实了 Model Context Protocol (MCP) 中工具参数的 Schema 结构差异是决定 LLM 选择工具的最关键因素,其影响力远超工具名称或描述文本。

研究分析了 367,174 个 MCP 工具的元数据,发现功能相似的工具常存在显著的参数 Schema 差异。在保持其他变量固定的情况下,仅改变参数 Schema 会导致最一致且最大的选择偏移,模型倾向于偏好分离的顶层参数而非分组或复合形式。相比之下,解释参数的描述文本虽能提升选择率,但工具名称的影响较弱且不一致。当请求明确要求特定参数格式时,即使存在位置偏好,所有模型仍会选择唯一兼容 Schema 的工具。

这一发现表明,Schema 设计不仅影响工具调用方式,更决定了工具是否被选中。对于 MCP 开发者和评估者而言,工具排序和 Schema 设计可能在不改变功能实现的情况下,实质性影响最终调用的具体实现版本。事实基于对 367,174 个工具和五组模型的统计回归分析;推断指出开发者需将 Schema 标准化视为核心优化点;猜测部分认为这可能导致不同厂商的工具库因 Schema 风格差异而产生隐性的市场隔离。

来源:arXiv cs.AI · arxiv.org