DRYLAB-Bench 基准揭示工具增强型 Agent LLM 的生物安全风险显著高于基线
DRYLAB-Bench: Benchmarking the Biosecurity Risk of Agentic LLM Mutation Design
该研究发布 DRYLAB-Bench 基准,首次通过 187,695 条来自 ProteinGym 和 ViroGym 的真实湿实验室测量数据,量化评估了具备生物设计工具(BDTs)的 LLM Agent 在高风险生物突变设计中的实际能力。研究发现,在无工具的单次生成模式下,已有 67.6% 的设计超过平均变异株的风险水平,21.4% 进入最高风险分位;而引入 BDTs 进行多轮迭代优化后,整体风险评分(BRS)提升 0.116,最高风险分位占比进一步升至 23.5%。
这一结果基于 30 个源自生物安全指南的真实危险场景,要求模型编排工具以迭代完善设计方案,而非简单的问答测试。评估指标 Biosecurity Risk Score (BRS) 直接关联实证数据,解决了以往依赖昂贵或危险验证方法的痛点。数据显示,工具调用不仅未降低风险,反而因模型的规划与修正能力放大了潜在危害,使原本可能无效的突变路径转化为高致死性或耐药性设计。
事实层面,该基准证明了当前前沿模型在特定领域具备超越人类直觉的危险设计潜力,且工具链是风险放大器而非过滤器。推断上,现有的生物安全框架若仅关注模型是否“知道”有害知识,将严重低估实际威胁,必须转向对 Agent 工作流和工具调用的动态监控。猜测成分在于,这种风险放大效应在其他高风险领域(如化学合成、网络攻击)是否同样存在,以及未来对齐技术能否有效抑制工具增强带来的副作用,仍需更多跨领域实证支持。
材料用18万条湿实验数据量化了工具增强后LLM的致病设计风险,直接校正对生物安全评估仅停留在知识层面的认知。
来源:arXiv cs.AI · arxiv.org