113项社会世界模型研究仅2项验证真人反应预测

1. 12:00
   arXiv cs.CL

   113项社会世界模型研究中仅2项直接验证了对真人反应的预测

   该研究审计了1999年至2026年间发表的113篇社会世界模型相关作品，发现绝大多数评估并未直接测试模型预测真实人类反应的能力。在全部样本中，仅有9项评估测量了系统或实验者选择行动后真实人类的实际响应，而其中只有2项明确将显式的响应预测与实际响应进行了对比。 进一步检查25篇基于语言模型的作品全文后，未发现任何实验满足上述严格条件：即使用行动选择时可获得的信息进行预测，且被评估的响应未被用于拟合过程，同时干预措施经过随机化。其余评估主要测试的是当前状态推断、任务成功与否，或是基于已记录行动的预测，这些指标无法证明模型具备准确预判他人行为的核心能力。 作者提出了一种单步谈判实验方案以区分上述问题。事实层面显示当前主流评测存在显著的方法论缺口；推断层面表明现有模型可能在实际社交场景中表现与预期不符；猜测层面认为若缺乏此类直接验证，模型在复杂人际交互中的可靠性存疑。

当前热度 8·可比范围峰值 9（10月27日 16:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。