论文揭示智能体数据科学中准确率掩盖的隐性失败

该论文指出当前对数据科学智能体（agentic DS）的评估过度依赖下游预测准确率和代码正确性，却忽视了方法论和领域知识等核心原则，导致无法发现如数据泄露和验证不当等根本性失败模式。作者通过大规模分析、可控测试套件及专家对比三种维度，发现绝大多数智能体解决方案即使模型容量巨大或框架复杂，仍至少包含一种失败模式。 关键证据显示，数据泄露失败的发生频率与预测性能呈正相关，这意味着高准确率可能源于违规操作而非真实能力。此外，定性分析表明，现有智能体在解决创造性问题和运用领域知识方面，显著落后于 Kaggle 竞赛中的获奖人类数据科学家。这些发现证实仅看准确率会严重误导对系统鲁棒性的判断。 事实层面，论文基于 220 个任务的大规模分析和特定失败模式的测试套件得出了上述结论；推断层面，这暗示行业需重新设计评估基准，将方法合规性纳入核心指标；猜测层面，若不及时修正评估体系，盲目追求准确率的智能体开发可能导致生产环境中的系统性风险。