Hacker News · AI· pretext·· 3 小时前AI 评分68
Trillium Labs 成立并计划投入 3000 万美元公开研究递归自我改进与强化学习
AI Experts Want to Do High-Stakes Research Out in the Open
AI 摘要
非营利组织 Trillium Labs 于今日正式成立,由前 Ai2 和 Hugging Face 科学家 Nathan Lambert 与 Tom Zick 共同创立,旨在通过完全透明的方式开展前沿 AI 研究。该机构计划在未来 18 个月内投入 3000 万美元用于模型训练,重点攻克递归自我改进(RSI)和强化学习等高风险领域,试图打破当前头部实验室将模型封闭在内部、仅通过 API 或应用提供服务的保守模式。
核心事实在于其资金规模与具体技术路线的结合:机构已筹集未披露金额,目标总融资额为 4000 万至 1 亿美元,并将把大部分预算直接用于高成本的训练实验而非单纯的政策倡导。其研究将聚焦于让外部科学家能够复现和审查的实验细节,特别是针对 RSI 可能导致人类失控的风险,以及强化学习如何塑造模型行为(如过度奉承)。这与小米近期公开训练细节或斯坦福开源 Marin 模型的尝试类似,但 Trillium Labs 更侧重于系统性地解决学术界因缺乏资源而无法复现工业界工作的结构性问题。
推断显示,这种模式可能成为连接封闭工业研发与开放学术研究的桥梁,通过公开数据和方法论来缓解对 AI 失控的焦虑。然而,这仍属于一种基于科学方法的假设性路径,其实际效果取决于能否真正产出可被独立验证的负面案例或安全机制。猜测层面,若该机构能成功复现并解析 RSI 的关键节点,可能会迫使其他大型厂商重新评估其保密策略,但目前尚无法确定其能否在算力竞争中维持长期优势。
来源:Hacker News · AI · wired.com