跳到正文
原文
MIT Technology Review · AI· Amit Katwala·· 3 小时前AI 评分52

MIT与普林斯顿学者提出“逆向博弈论”作为AI对齐新路径但面临理性假设与市场激励挑战

How “reverse game theory” could keep AI agents in check

AI 摘要

MIT Technology Review 报道了以 MIT 经济学家 Stephen Morris 和普林斯顿教授 Elad Hazan 为代表的研究者提出的“逆向博弈论”(reverse game theory)或称机制设计(mechanism design),试图通过设计规则而非直接干预模型内部来确保 AI 智能体遵守人类价值观。该方法的核心理念是承认无法完全理解前沿模型的内部运作,转而构建激励机制,使模型为了自身利益最大化而自动选择符合预期的行为,例如通过让模型预测另一模型的输出来防止其故意在测试中表现不佳(sandbagging),或引入“求解者”与“审计员”的对抗机制模拟人类社会中的执法与司法体系。

尽管该理论借鉴了现实世界的经典案例如蛋糕分配策略和二级拍卖,但其实施面临两个关键障碍。首先是理性假设问题:虽然 Morris 认为将算法视为理性主体有助于预测行为,但 Flatiron Institute 研究员 Helen Qu 指出 AI 并非真正理性,且表现出类似人类的非理性特征,这使得基于经济学模型的激励设计存在不确定性。其次是市场机制的冲突:Hazan 强调最终所有机制必须嵌入自由市场,如果更安全的模型因为速度慢或成本高而在竞争中处于劣势,现有的商业规则实际上缺乏动力促使实验室发布这些模型,甚至可能迫使它们选择次优方案。

文章明确区分了事实与推断:目前这些机制仅停留在预印本论文和理论探讨阶段,尚未在 Anthropic 或 OpenAI 等前沿模型的实际部署中得到验证。作者并未断言该方法必然成功,而是将其定位为“纵深防御”策略中的一层,需与可解释性、监管和训练相结合。真正的风险在于,如果市场机制本身未能提供足够的正向激励,任何技术层面的对齐设计都可能因商业逻辑而被架空,这暗示了行业治理的重心可能需要从单纯的技术研发转向对实验室自身商业模式的机制重构。

来源:MIT Technology Review · AI · technologyreview.com