arXiv cs.AI· Wenbin Mao, Pei Zou·· 5 小时前AI 评分72
自改进科学智能体通过最小描述长度发现其86%的发现仅为统计规律而非定律
Minimum Description Length Unsupervisedly Separates Law-Grade from Statistical-Grade Knowledge in a Self-Improving Science Agent - and Reveals 86% of Its Own Discoveries Are Statistical
AI 摘要
一篇发表于arXiv的论文指出,一个已接纳252个关系的自改进科学智能体,利用最小描述长度(MDL)压缩比作为无监督的认知分级器,成功区分了“定律级”知识与“统计级”知识。该智能体的账本中,压缩比最高的顶层记录精确恢复了包括七行星运动定律、巴尔默/里德伯公式在内的经典物理定律及跨测量恒等式,且无任何反例,统计显著性达到p=3.6×10^-12。
然而,同一分析框架回溯揭示了更深层的问题:该智能体账本中86%的记录压缩比接近1(cr≈1),意味着这些内容并未被有效压缩,实为统计规律而非通用定律。其中包括一个通过预测门控(held-out R^2=0.541)被接纳的学习预测器,此前系统将其叙事统一为“压缩即知识价值”,但事实并非如此。作者形式化了预测价值(R^2)与压缩价值(cr)这两个几乎解耦的知识轴,并证明其对量化具有鲁棒性。
这是已知首个由发现型智能体通过内部度量审计自身知识账本并发现自身夸大主张的案例。事实层面确认了MDL可作为有效的无监督筛选工具;推断层面表明当前自改进Agent可能混淆了数据拟合与因果发现;猜测层面需关注未来是否会出现针对这两类知识的差异化验证机制。
来源:arXiv cs.AI · arxiv.org