跳到正文
原文
GitHub Blog · AI & ML· Batu Ozturkler·· 2 小时前精选AI 评分72

GitHub 发布基于 ModernBERT 的密钥检测模型,以更低成本减少误报

GitHub’s model for secret detection: Finding more secrets with less noise

AI 导读

GitHub 正式推出新的密钥检测系统,核心是用微调后的 ModernBERT 分类器替代原有的远程 LLM 管道,在保持召回率的同时将服务成本降低 98% 以上,并将后推送扫描的中位执行时间缩短 86%。该方案通过两阶段流程工作:先用正则表达式进行高召回候选生成,再由小模型结合文件路径、变量名及上下文代码判断是否为真实凭证,从而显著提升了开发者对警报的可信度。

这一架构调整的关键在于解决了“硬负例”问题,即那些符合凭证语法但实为测试占位符、文档示例或哈希值的字符串。新模型输入包含候选值、文件路径和受限上下文,训练数据融合了 GitHub 仓库反馈、高召回正则候选及针对难例的合成数据,并采用 ONNX 格式与 8-bit 量化部署。离线评估显示,相比旧 LLM 管道,新系统在相同公开流量下精确率高出 13%、召回率高出 19%;在线 A/B 实验则证实仓库所有者加权接受度提升了 11.5%,意味着开发者花费在排查误报上的时间大幅减少。

事实层面,GitHub 明确采用了 Hybrid 策略,即正则负责广度覆盖,ModernBERT 负责语义判别,而非完全依赖大模型生成能力。推断上,这种“小模型解决窄任务”的路径表明,在安全扫描等对延迟和成本极度敏感的工程场景中,专用编码器可能比通用 LLM 更具商业可行性。猜测部分,文中提到未来将探索单步检测提取架构,这暗示了当前两阶段流水线仍可能存在优化空间,但具体技术路线尚未披露。

推荐理由

用 ModernBERT 替代 LLM 实现 98% 成本下降与 86% 提速,校正了安全扫描必须依赖大模型的假设。

来源:GitHub Blog · AI & ML · github.blog