跳到正文
原文
arXiv cs.CR· Jingnan Zheng, Cheng Jin, Ming Zhang, Huan Sun, Zhongtian Ma, Kaisen Yang, Ziyuan Zhou, Tong Wu, Dongcheng Zhang, Yi Zhang, Xiao Wang, Han Qi, Shu Yu, Ermo Hua, Zongji Yu, Chaozhuo Li, Xiaoyu Wen, Zhekai Chen, Jiawei Zhou, Sirui Chen, Ning Ding, An Zhang, Tat-Seng Chua, Xiangnan He, Xia Hu, Bowen Zhou, Qiaosheng Zhang, Youbang Sun, Xiang Wang, Zhongyu Huang, Chaochao Lu·· 5 小时前AI 评分60

Safin-1.5 论文提出基于安全原生架构与可验证推理的递归安全改进方案

Safin-1.5: Safety-Native Architecture and Verifiable Reasoning for Recursive Safety Improvement

AI 摘要

该论文提出 Safin-1.5 模型,旨在解决大语言模型在递归自我提升(RSI)过程中引入新风险或削弱现有防护的问题。其核心主张是遵循 AI-45° Law,通过持续的风险发现与修复,使安全能力作为内在属性随通用能力同步发展,同时保持效用并限制过度拒绝。实验结果显示,Safin-1.5 在安全性和推理性能上均优于前沿模型。

该方法由三个关键组件构成:首先是结合持久化安全状态与有害知识解耦的安全架构,前者保留并选择性调用安全知识,后者将目标有害知识移至可移除专家模块,以便在不严重影响通用能力的情况下进行移除;其次是建立发现 - 评估 - 修复闭环的递归安全改进机制,仅在提升安全性且保留通用能力、限制过度拒绝时才接受更新;最后是形式化推理工具包,利用证明义务引导的语义桥接恢复形式表示中的缺失关系,使符号求解器能在形式化前提和接受的语义桥接下构建可检查的证明。

事实层面,该研究发表于 arXiv cs.CR,作者团队包含多位来自高校及研究机构的研究人员,提出了具体的架构设计与训练流程。推断层面,这种将安全从“外挂规则”转变为“架构组件”的思路,可能改变未来模型迭代中安全对齐的优先级与实现方式,特别是通过“可移除专家”处理有害知识,为解决安全与能力的权衡提供了新的工程路径。猜测层面,该框架在实际大规模部署中的计算开销及对复杂对抗样本的泛化能力仍需进一步验证,目前仅基于论文描述的实验结果。

来源:arXiv cs.CR · arxiv.org