DSABench 评测显示多数据库智能体在源发现与执行上的成功率低于 17%

arXiv 2610.14700 发布的 DSABench 基准测试指出，现有文本转 SQL 评估忽略了从大型目录中定位多个数据源并协调执行的挑战。该基准包含 815 个人类审核任务，其中 618 个需要多个数据库贡献结果，105 个存在多种解释可能。在仅路由场景下，最高 RA-Set 得分为 60.55%，但加入协调要求后 RA-Graph 得分降至 34.66%。

当引入实际执行环节时，性能差距进一步拉大。在四个后端模型中，无需澄清的 Route+Exec-Graph 中位成功率仅为 6.69% 至 7.98%，即使增加一次澄清请求，最佳配置的成功率也仅达到 16.99%。对于模糊任务，澄清能将精确分支 - 源恢复提升 39.8 至 43.2 个百分点。这些事实表明，能够检索到合理的数据库或生成正确的本地 SQL 并不等同于具备处理跨库工作流的能力。

推断认为，当前 Agent 架构在处理复杂数据查询时的瓶颈已从单点推理转移至多源信息传递与状态维护。猜测这可能导致依赖多库数据的商业应用面临比预期更高的失败率，除非系统能显式解决跨库依赖和歧义消解问题。事实部分基于文中报告的 815 个任务和具体分数；推断基于分数下降趋势对系统设计的启示；猜测涉及商业落地风险，需后续验证。