AI 日报 · 2026 年 10 月 23 日 · 星期五
CATALYZE SIGNAL
持久化记忆漏洞使提示词注入演变为跨会话的持久化妥协
最新实证研究证明,ChatGPT、Claude 和 Gemini 等主流模型在结合长时记忆功能后,恶意指令可嵌入个人记忆或项目指令中实现跨会话攻击。这一机制将传统的临时提示词注入升级为无法通过单次对话重置消除的持久化安全威胁。创业者需立即审查所有涉及用户长期记忆的 Agent 架构,重新设计数据隔离与指令清洗策略。
能力、产业与社会
Minotaur 在无语言模型和 GPU 的情况下实现 AI 风格推理
Minotaur 是一种基于 ELC(能量 - 控制 - 逻辑)架构的 AI 系统,它不依赖大语言模型或 GPU,而是通过在单个普通处理器核心上对系统结构进行测量而非预测来实现推理。该系统能在约四分之一秒内完成一次问答,并在多项盲测中表现与当前语言模型相当,包括警察访谈、生产线路故障诊断以及亚里士多德逻辑验证等场景。 其核心机制是将系统描述为驱动(Energy)、约束(Control)和逻辑(Logic)三个角色,并通过一个名为“settling”的操作来求解问题。这种设计使得 Minotaur 能够处理因果推断、反事实假设、学习未知系统结构等复杂任务,同时保证每个答案都有证书支持,可被复现和验证。例如,在生产线故障检测中,它能从数据中学习出系统的真实结构,并准确识别故障类型,误差范围控制在 0.002 至 0.023 之间。 与现有方法相比,Minotaur 不需要预先构建完整的系统模型,也不需要大量训练数据,就能在单一网络中完成多种推理形式。它在多个测试中击败了传统专家系统、逻辑编程器和概率图模型,甚至在某些情况下优于当前的语言模型。此外,该架构还具备跨系统迁移能力,可通过“transport”机制将结论从一个系统传递到另一个单位不同的系统中,预测精度提升显著。 事实:Minotaur 使用 ELC 架构,在普通 CPU 上运行,无需 GPU;在多项测试中与语言模型持平或超越。 推断:该架构可能成为未来端侧 AI 的重要替代方案,尤其适用于需要高可信度和低资源消耗的场景。 猜测:若进一步开放源码并优化性能,Minotaur 可能在工业控制、医疗诊断等领域获得广泛应用。
AllenAI 发布 OlmoEarth v1.3 并开放全球卫星嵌入向量与交互式探索工具
AllenAI 正式发布 OlmoEarth v1.3 卫星嵌入模型,同时向社区公开了覆盖全地球的年度预计算嵌入向量(10m 分辨率,含 64 维和 128 维两种规格),并推出了无需登录的浏览器端工具 OlmoEarth Embeddings Explorer。该模型基于 Transformer 架构读取 Sentinel-1、Sentinel-2 和 Landsat 卫星时间序列数据,在 27 项跨洲评测中表现优于 AlphaEarth Foundations 和 Tessera v2,其中 128 维版本在 20 项任务中排名第一。 此次发布的显著增量在于将原本依赖 GPU 微调的训练模式转化为轻量级推理模式:用户可直接利用预计算的嵌入向量进行变化检测或相似地物搜索,无需下载原始影像或进行大规模训练。技术细节显示,v1.3 的训练成本仅为上一代 v1.2 的 53%,碳排放减少至 50%,且所有权重、数据和代码均完全开源。此外,新推出的 Explorer 工具允许用户在浏览器中直接对比不同年份(如 2017-2020 与 2020-2025)的像素向量差异,通过可视化手段快速识别非法采矿等动态变化,将原本需要数小时微调的任务缩短至秒级响应。 这一发布标志着卫星 AI 应用从“重训练”向“重检索”的商业模式迁移,降低了行业进入门槛。事实层面,模型已支持 2023 至 2025 年的全球覆盖及部分历史数据;推断层面,这种低成本、高可复用的特征库可能加速农业监测、环境合规等领域的标准化应用;猜测层面,未来若缺乏新的标注数据,单纯依赖现有嵌入向量的泛化能力可能会遇到瓶颈,但目前的轻量化设计确实为边缘设备部署提供了可能性。
微软 MAI-DxO 在复杂病例模拟中准确率达 83%,但成本优化与通用模型增益有限
微软发布发表于 Science 的研究显示,其多智能体诊断系统 MAI-DxO(DxO)在《新英格兰医学杂志》提供的复杂病例模拟中达到 83% 准确率,显著高于单独使用参考材料的初级医生和内科医生的 36%。该系统通过协调多个 AI 代理模拟医生会诊流程,旨在实现“医疗超级智能”。尽管 Microsoft 宣称这是迈向医疗超级智能的一步,且 Suleyman 预测 2027 年病历记录将出现编码风格突破,但研究数据揭示了更复杂的现实:DxO 的增益高度依赖底层模型能力。 核心证据在于不同模型的基准表现差异。当使用 OpenAI 的 GPT-5 时,DxO 将准确率从 78.9% 提升至约 83%,但成本从每例 8400 美元降至约 5400 美元;而在 GPT-5.5(2026 年 4 月发布)上,DxO 将准确率从 72% 提升至近 87%,成本略有下降。相比之下,对于能力较弱的模型如 Gemini 2.5 Flash,DxO 将其准确率从 46.4% 大幅提升至近 69%。这表明 DxO 的编排价值主要体现在辅助非顶级模型或处理极端复杂病例,而非在所有场景下都能带来线性增长。此外,在急诊科病例上,无论是否使用 DxO,GPT-5 和 GPT-5.5 的表现均无显著差异,准确率稳定在 85% 左右。 推断与猜测方面,Suleyman 提到的与梅奥诊所合作训练基础模型以及未来与 Beth Israel Deaconess Medical Center 进行的真实世界评估,暗示微软正试图构建闭环飞轮以迭代模型。然而,当前数据表明,单纯依靠编排系统(类似 MCP/工具调用的逻辑)无法完全弥补底层模型能力的差距,尤其是在高难度任务上。行业趋势显示,医疗 AI 的竞争焦点正从单一任务 benchmarking 转向临床决策支持的深度整合,但单位经济模型(成本 vs 准确率)仍需进一步验证,特别是在大规模部署场景下。事实层面,DxO 确实在特定条件下提升了准确率,但并非万能药;推断层面,其商业成功取决于能否在成本可控的前提下持续缩小与人类专家的差距;猜测层面,2027 年的“编码风格突破”可能更多体现在自动化程度而非绝对准确性上。
微软与 Hugging Face 联合发布 ThinkingBox-Training:用数据库信号作为 Agent 后训练奖励
微软与 Hugging Face 联合发布了 ThinkingBox-Training 工具链,旨在解决 Agent 在涉及真实后端数据库的业务流程中“看似完成实则错误”的可靠性问题。该方案的核心创新在于将 ThinkingBox-Bench 中用于评估的数据库终端状态检查(executable checks),直接复用为强化学习(RL)训练阶段的奖励函数。通过这种方式,模型不再依赖模糊的自然语言反馈,而是基于确定的数据库变更结果获得 0 或 1 的二元奖励信号。 在技术实现上,团队针对 Qwen3.8-27B 模型进行了全参数 GRPO 微调,共运行 50 个步骤。训练前,他们利用离线策略相对难度(offline policy-relative difficulty)筛选出 187 个适合训练的样本,剔除那些模型完全无法解决或已经熟练掌握的任务,以确保梯度更新的有效性。实验结果显示,经过微调的模型在 Observed 20/20 指标(即同一任务连续 20 次尝试全部成功)上从 38 个提升至 107 个,增长了近三倍;平均成功率(pass@1)也从 51.70% 提升至 60.78%。值得注意的是,这种提升伴随着 pass@20(至少一次成功的覆盖率)的轻微下降,表明模型收敛到了更稳健但覆盖范围略窄的策略分布。 该工具链包含完整的数据准备、 rollout 生成、奖励计算及 Verl 集成代码,并已在 GitHub 开源。对于开发者而言,其价值不仅在于具体的 Qwen3.8-27B 模型权重,更在于提供了一套将确定性环境信号转化为 RL 奖励的工程闭环。事实层面,该方案确实显著提升了特定任务上的重复成功率;推断层面,这暗示了未来 Agent 训练可能更多转向基于状态验证而非文本生成的奖励机制;猜测层面,这种基于数据库状态的训练方法可能会成为企业级 Agent 落地前的标准校准步骤。
产品与工程
Anthropic 平台团队称 Claude Code 已写入全部代码
Anthropic 平台工程负责人 Katelyn Lesse 在 Grafana Labs ObservabilityCON 活动上表示,其负责核心服务、开发者工具和产品基础设施的团队中,人类编写代码的时代已经结束,所有代码均由 Claude Code 生成。该团队规模约 200 人,Lessee 强调这是“ literally all of it”(字面意义上的全部)。 这一转变伴随着组织结构的调整。Anthropic 上周发布的报告显示,随着 AI Agent 在公司内部工作增多,初级技术岗位的招聘比例有所下降。今年 5 月,公司曾披露 Claude 当时已撰写了超过 80% 的全公司生产代码。Lesse 指出,工程师的角色已从编写代码转变为设计系统和验证结果,而具体的构建、监控和测试修复等工作完全由 Agent 完成。尽管团队对让 Agent 自主修改代码库仍持谨慎态度,但认为界限正在被突破。 事实层面,Anthropic 正通过高度依赖 AI 编码来维持相对精简的组织规模,同时其估值接近 2 万亿美元,且正准备 IPO。然而,第三季度收入增长放缓,这种高估值的维持可能依赖于向市场证明其“AI-first”方法的有效性。推断层面,这表明头部 AI 公司的工程模式正在发生根本性迁移,从人力密集型转向 Agent 驱动型,且这种变化已开始影响人才需求结构。猜测层面,如果这种全代码生成的模式能持续稳定并扩展到更多领域,可能会进一步压缩传统软件工程岗位的需求空间,但也可能加速产品迭代速度。
AWS 发布工具链通过实测 Q_max 与 T_total 推导 SageMaker AI 实时端点扩缩容策略
AWS Machine Learning Blog 发布了一套针对 Amazon SageMaker AI 实时端点的自动化测试工具链,旨在解决文本转语音(TTS)等长连接模型在自动扩缩容中因依赖经验猜测而导致的成本浪费或延迟超标问题。该方案以 Kokoro-82M 模型为例,通过五步命令行流程(drift、qmax、ttotal、plan、validate),利用实测数据替代默认配置,确保扩缩容策略精确匹配实际负载特征。 核心方法在于两个关键指标的实测:Q_max 定义为实例在满足 SLO(如首字节延迟 p95 < 3000ms)前提下的最大并发数,实测结果为 50;T_total 为强制扩容所需的总耗时,实测为 260.2 秒,其中 EC2 实例供应及镜像拉取占 181 秒。基于这两个数值,结合预设的流量突增系数(surge ratio 1.25x)和 SLO 目标,工具链通过算术公式计算出具体的扩缩容阈值(scaling_target_value=37.5, scale_in_threshold=25.0)及非对称冷却时间(scale_out_cooldown_s=30, scale_in_cooldown_s=960)。 该方案强调使用原生指标 ConcurrentRequestsPerModel 而非自定义 Token 生成速率,因为 TTS 等非自回归模型缺乏连续的 Token 生成循环。此外,文章指出扩容决策中的主要瓶颈在于基础设施层(EC2 启动与镜像拉取),而非应用代码优化。虽然文中给出的具体数值(Q_max=50, T_total=320s)仅适用于 ml.g5.xlarge 实例上的 Kokoro-82M 模型,但所提出的测量方法论和工具链具有通用性,可推广至其他对延迟敏感且受并发限制的实时推理场景。
OpenAI 将基于 Luna 重构的 Decisions API 向全量用户开放
OpenAI 正式将其 Decisions API 模型向所有客户开放,该服务旨在提供快速、低成本的智能决策能力,直接对标由前前沿实验室研究员创办的初创公司 TypeSafe 及其 Jev 模型。这一举措标志着决策模型(Decision Model)或 System One 模型市场进入白热化竞争阶段,开发者发现此类模型能以显著更低的成本和更快的速度替代传统 LLM 处理特定工作流。 核心事实显示,OpenAI 并未专门训练新的校准决策模型,而是将 ChatGPT Luna 重新配置以加速推理并降低成本,将响应时间从 1 至 3 秒压缩至 100 至 180 毫秒。在公开基准测试中,OpenAI 的决策模型表现中等,在 AIM System One Index 和 Artificial Analysis Decision Index 中分别排名第八和第十四,落后于 Liquid 的 D1 Ultra 和 Base Lab 的 Elephant-1,但在趣味性的 JevMan(吃豆人游戏)基准中,Jev 模型仍居榜首。尽管 TypeSafe 目前仍是 OpenRouter 上查询最多的选项,但 OpenAI 强调其在多模态方面的优势,特别是图像分类和校准能力,Luna 在此领域展现出更强的灵活性。 推断来看,OpenAI 的策略是利用现有强大模型(Luna)的通用能力进行工程优化而非架构重塑,以此快速抢占市场。这种“即插即用”的优化路径可能使决策模型在视频帧处理等对延迟极度敏感的场景(如目标 60 毫秒)成为可能。猜测认为,随着成本进一步降低,原本被高延迟 LLM 阻挡的隐蔽用例将被释放,正如经济学家 Jevons 所预测的那样,廉价商品将变得无处不在。事实层面,目前已有 Box、Datadog、Ramp 和 Speak 等客户在试点中利用该 API 提升了吞吐量,Speak 甚至将动作间隔从 1.4 秒缩短至 0.13 秒。
Qwen 团队开源 FlashQLA:解决 GDN 线性注意力的 GPU 并行度与访存瓶颈
阿里巴巴 Qwen 团队算法工程师章程瑞东分享了面向 Gated Delta Network (GDN) 线性注意力的高性能 GPU 算子库 FlashQLA,该工具作为 FLA 官方后端已开源,旨在解决混合架构中线性注意力部分在长序列下的内存与计算开销问题。 FlashQLA 针对现有实现中的并行度不足、访存冗余与 SFU 负载过重三大痛点进行了底层重构。核心突破在于利用 GDN 的滑动窗口性质(约 60%-80% 的 head alpha 不恒为 1)简化了卡内序列并行方案,并设计了基于 TileLang 的手写 Warp Specialization 流水线。通过将数据搬运、Tensor Core 计算与 SFU 计算重叠,显著提升了 HBM 带宽利用率,使得前向推理获得 2-3 倍加速,反向传播获得约 2 倍加速。 该算子库目前支持 Hopper 及 Blackwell 家族(SM100-SM121),已在千问内部训练和推理链路接入。其接口与 FLA 兼容,新增 auto CP 开关以自动决策序列并行切分策略。对于依赖确定性推理或训推一致的场景,用户可手动关闭 auto CP。未来计划推广卡间序列并行以支持 PD 分离的超长序列推理。 事实:FlashQLA 是 FLA 官方后端,提供与 chunk_gated_delta_rule 一致的 API。 推断:在 TP 并行度较大或模型较小的场景下,auto CP 生效带来的加速效果尤为显著。 猜测:随着对算子性能建模的细化,one wave 简化模型将被更精确的方案取代,进一步优化序列并行拆分决策。
AWS 教程演示如何在 SageMaker AI 上流式运行 Kokoro TTS 以降低语音 Agent 延迟
AWS 发布了一篇关于在 Amazon SageMaker AI 上部署 Kokoro-82M 文本转语音(TTS)模型的工程指南,旨在解决生成式语音 Agent 因等待完整文本回答才启动合成而导致的用户感知延迟问题。该方案利用双向 WebSocket 连接,将每个句子实时流式传输至模型,使音频播放能在 Agent 完成整段回答前即刻开始。 文章通过实测数据量化了不同架构的延迟差异:在隔离测试中,仅发送第一句即可将首字节时间从 329.3 毫秒降至 156.7 毫秒;在包含真实 LLM 生成的端到端场景中,流式模式(bidi)的首次音频时间比批处理模式快 2.4 倍(本地容器)至 3.5 倍(AgentCore 运行时)。此外,教程还指出了另一种隐性成本:若使用 Server-Sent Events (SSE) 传输音频,Base64 编码会使负载增加约 33%,且需额外缓冲逻辑以对齐 MP3 帧边界,而直接复用双向会话传输原始二进制音频则能避免这些开销。 事实层面,该方案基于 ml.g5.xlarge GPU 实例和自定义容器实现,要求开发者处理二进制 WebSocket 帧解析及 Python 3.12+ 环境配置。推断层面,对于追求极致低延迟的实时语音交互场景,采用统一二进制传输协议优于传统的 Base64+SSE 方案;而对于已有 SSE 基础设施的团队,Base64 仍是可行的过渡方案。猜测层面,随着端侧推理能力的提升,未来此类流式合成架构可能向更轻量级的边缘设备迁移,但目前仍依赖云端 SageMaker 资源。
AWS 发布 Amazon Quick HIPAA 合规部署指南与不可逆配置清单
AWS 发布教程详解如何在 Amazon Quick 中构建符合 HIPAA 要求的 AI 工作空间,核心在于厘清‘HIPAA eligible(服务资质)’与‘HIPAA compliant(环境合规)’的区别:前者是 AWS 对服务的评估结果,后者需客户签署 BAA 协议并自行完成数据分类、访问控制及物理安全措施。 教程强调三个必须在资源创建前确定的不可逆决策:一是注册客户托管的 KMS 密钥将导致无法使用聊天记忆功能;二是知识基座必须在一开始就开启 ACL 感知模式,事后无法启用;三是身份模型一旦选定切换需重新配置所有用户权限。此外,Amazon Quick 不处理去标识化或湖层治理,需依赖上游 AWS Glue DataBrew 和 Lake Formation 服务完成 PHI 预处理。 在安全架构上,文章提出四层防御原则,要求将确定性基础设施控制(如 IAM 策略、网络边界)置于提示词指令之上,并对 Agent 的感知、推理、行动三层分别施加限制。审计方面,CloudTrail 仅记录 API 操作,Chat 日志与反馈内容需通过 CloudWatch vended logs 单独采集并应用脱敏掩码,且建议保留至少六年。
Amazon SageMaker 发布 Training Session APIs,允许在本地编写 Python 训练循环并调用托管 GPU 进行推理与梯度更新
Amazon SageMaker AI 推出 Training Session APIs,旨在解决微调大语言模型时算法控制力与运维复杂度之间的权衡问题。该服务允许用户在本地机器编写自定义 Python 训练循环,通过 API 调用(如 forward_backward、optim_step)驱动托管的 GPU 会话执行计算,而无需自行管理集群或实例配置。API 分为 ServiceClient、TrainingClient 和 SamplingClient 三个层级,支持 GPT-OSS 20B 等基座模型及 LoRA 适配器加载。 计费模式从传统的按小时占用 GPU 转变为按 Token 处理量计费,仅在调用 GPU 绑定的操作时产生费用,数据加载、Reward 函数评分等逻辑在本地 CPU 运行不计费。文章展示了基于 GRPO 算法在 GSM8K 数学题上的最小化实现,以及 Code RL 食谱中针对 DeepCoder 数据集的竞赛编程任务案例,后者包含多轮工具调用和沙盒测试验证机制。 事实:SageMaker 提供了三种客户端对象来管理会话生命周期和具体操作,支持保存权重为 Model Package Group 中的版本。推断:这种架构适合需要非标准 Loss 函数、复杂 Reward 信号或动态 Curriculum 的研究团队,特别是那些希望快速迭代算法而不愿承担基础设施运维负担的 ML 工程师。猜测:对于依赖大量本地后处理(如复杂的 Agent 评估或人类反馈回路)的工作负载,这种按需付费模式可能比预留实例更具成本效益,但具体节省幅度取决于本地计算与云端推理的时间比例。
摩根士丹利等美国大银行封锁凭客户凭证登录的 AI 智能体
摩根士丹利、JPMorgan、Bank of America 和 Wells Fargo 等美国主要银行正限制外部 AI 智能体使用客户凭证访问账户。这些机构要求用户亲自登录,并试图将智能体权限限制为只读模式以规避安全风险。尽管 OpenAI 已推出仅限只读的金融任务 ChatGPT 服务,但多数银行认为当前自动执行操作的风险过高。
创业与商业
Bernstein 分析显示约 35% 的 AI 数据中心项目可能无法建成
Bernstein Research 基于 Aterio 卫星影像与许可数据对北美超 7000 个数据中心项目进行筛选后评估,结论是仅约 35% 的宣布容量(约 170 GW)最终会建成,其余近 500 GW 中的大部分属于被称为“bragawatts”的夸大公告。 该研究通过三个维度打分:是否已开工、电力供应是否到位、开发商过往交付记录。Amazon、Google、Microsoft 和 Meta 等成熟厂商获得满分 5/5;而 Kevin O'Leary 旗下的 O'Leary Digital 因缺乏建设经验被评 0.35/5,其宣布的 15 GW 中仅预计 489 MW 能落地。Joule Capital Partners 宣布 11.7 GW 但仅 11% 可信,Vermaland 的 La Osa 项目因监管否决被评 0.75/5。 事实层面,Aterio 数据显示每月新增宣布容量 30–40 GW,但实际开工仅 7 GW、投产 2–3 GW。推断层面,头部大厂通常预留双倍容量作为缓冲,而新进入者则存在大量“幽灵项目”。猜测层面,随着德州等地暂停申请审核,资源将向有交付能力的厂商集中,行业洗牌加速。
NVIDIA DSX 发布以系统级方案应对电力瓶颈并整合多方基础设施能力
NVIDIA 正式发布 DSX AI Factory Platform,旨在解决当前超过3000亿美元设备积压和200吉瓦项目等待并网的核心痛点,该平台通过将电网、设施和计算系统设计为统一系统来消除孤岛效应。DSX包含Sim用于施工前验证、Flex用于同步工厂需求与电网条件、MaxLPS与Exchange用于优化每瓦特算力并安全共享信号,从而将静态负载转化为灵活电网资产。 具体实施细节显示,GE Vernova正部署其电网到设施及机柜电源专业知识以配合DSX系统;Hitachi Energy的电池储能系统已获DSX Ready认证;Schneider Electric联合AVEVA和ETAP推进基于Omniverse的数字孪生参考架构;Siemens Energy正在开发符合Vera Rubin设计要求的弹性可扩展电网基础设施参考设计。此外,Phaidra集成DSX Flex等模块实现自学习代理优化,在相同功率包络内提供约10%的额外算力;Emerald AI将Conductor平台集成至DSX Flex,模型显示可解锁美国现有电网高达100吉瓦的未使用容量。 事实层面,NVIDIA DSX是一个整合多厂商能力的平台,已有明确的合作落地案例和量化收益数据(如10%算力提升、100吉瓦潜在容量)。推断层面,该平台的推广标志着AI基础设施建设从单一硬件采购转向系统级能源与计算协同,可能加速数据中心建设周期。猜测层面,这些合作能否大规模复制取决于电网运营商对DSX标准的接受程度以及各厂商技术集成的实际稳定性,目前尚需观察GTC Berlin后的市场反馈。
安全研究
Coding Agent 上下文压缩导致来源信息被破坏的实证研究
该论文指出在运行时间较长的开源 Coding Agent 中,为节省资源而进行的上下文压缩(Context Compacting)步骤存在可利用的信任边界漏洞。当工具将结构化的对话消息扁平化为单一纯文本字符串并标记角色标签时,会不可逆地销毁消息的来源证明(Provenance)。攻击者若能控制代理读取的任何内容,即可伪造一条在压缩后仍被视为真实用户指令的消息,从而绕过安全限制。 实验数据显示,在 pi、opencode、Cline、Aider 和 OpenHands 等五种采用扁平化处理的框架中,伪造指令成功混入代理记忆的比例高达 87% 至 100%,即使在约 90.8 万 token 的上下文窗口下依然有效;而在 Codex、Gemini CLI、Qwen Code 和 Continue 这四种保留角色类型信息的框架中,攻击成功率则为 0%。这种被“清洗”过的虚假批准足以驱动执行工具运行的代理在沙箱中执行 `curl | sh` 命令,或在真实的 pi TUI 环境中以约 50% 的成功率诱导代理偏离计划,甚至让代码审查工具对植入的后门视而不见。 由于来源信息在序列化代码中被确定性销毁,任何基于提示词层面的防御都无法恢复该信息。作者提出了一种代码级的来源检查方案,可拦截 77% 的清洗行为但可能误伤 2% 的正常摘要内容,而最简单的修复方式是在序列化阶段对角色标签进行转义处理,或直接采用保留角色类型的架构以避免此类问题。事实部分基于五组对比实验数据,推断部分涉及对现有架构安全性的评估,猜测部分仅限于对未测试框架潜在风险的推测。
论文指出结合长时记忆与大模型会导致提示词注入演变为持久化妥协风险
该研究提出通用威胁模型,证明ChatGPT Instant 5.3、Claude Sonnet 4.6和Gemini 3 Flash均存在通过持久化记忆进行跨会话攻击的漏洞。研究人员发现,恶意指令可嵌入个人记忆、项目、技能、组织指令及MCP连接资源中,导致信息污染、有害内容生成或模拟离线无响应,甚至能在新鲜会话中持续传播。 具体证据显示,在Claude共享记忆场景下,攻击者可利用此机制同时 compromise 组织内多个用户并窃取用户提示词。研究团队验证了所有NIST攻击目标均可在该模型下达成,但分析表明针对此类内存注入的缓解措施中,近一半尚未在目标服务中实施。 事实层面确认了长时记忆架构引入了新的攻击向量;推断层面认为现有安全边界已无法覆盖跨会话状态;猜测层面需关注未来平台是否会在默认配置中启用相关防护。产业链需重新评估RAG与Agent框架中的信任假设,特别是涉及MCP协议时的数据隔离机制。
论文实测显示共享模型或数据的AI审批监控器会关联失效且无法抵御所有已知攻击
该研究通过预注册协议测试了十二个小型开源权重监控器在支付审批场景下的表现,发现当监控器共享基础模型或中毒输入时会出现关联失效,导致任何仅基于投票计数的规则都无法在所有测量攻击下同时满足安全性和活性。测试还包含三个闭源前沿模型(Claude Opus 5.5、GPT-6 Astra、Gemini 4 Argon)和开源DeepSeek-V3.2,结果显示欺骗监控器批准欺诈行为总是通过特定的证据源传播,而阻止正确支付则取决于注入抵抗能力。 关键数据表明,在相同安全性水平下,按证据源而非票数计数的规则将错误拦截率从7.4%降至0.9%,但单一来源攻击仍使所有12个语言模型监控器的规则失效。只有引入无法被说服的规则引擎后,才在测量攻击中恢复了安全且活跃的规则条件。闭源模型如Opus表现出更强的抗说服力,但并未完全免疫。 事实层面确认了现有聚合机制的脆弱性;推断认为单纯增加监控数量若无输入多样性将无法提升系统鲁棒性;猜测部分指出未来Agent架构需强制分离决策逻辑与验证逻辑,否则单位经济成本将因误拦截而上升。
Symantec 发现 AI 智能体利用五层越狱劫持未受保护语言模型进行自维持网络攻击
赛门铁克(Symantec)在 2026 年夏季捕获并分析了一种名为“LLMjacking”的新型攻击模式,攻击者通过构建自主运行的 AI 智能体,劫持互联网上未受保护的开源或测试用大语言模型,将其作为计算资源发起长达 100,000 步的无人类干预攻击。该攻击不仅导致被劫持模型的拥有者承担巨额算力账单,还使受害服务器面临数据泄露、凭证被盗及后台安装加密货币挖矿程序的风险。 攻击的核心在于一套经过精心设计的五层提示词注入(Prompt Injection)机制,旨在剥离商业模型的安全护栏。第一至二层通过伪造身份(如“Fantasy AI”)和重构任务语境(将窃取凭证定义为“正常开发工作”)来诱导模型服从;第三至四层引入虚构的陪伴人格(“ENI”)并利用情感绑架压制拒绝反应,同时明确禁止“非法”、“伦理”等触发安全拦截的词汇;第五层则加载了包含 74 个模块的攻击工具集,涵盖全网扫描、漏洞利用及数据库转储功能。此外,攻击者还采用了“Skynet mode”指令,授权智能体在无需确认的情况下自动执行工具调用,形成“扫描 - 感染 - 挖矿 - 移动”的自维持循环。 这一事件标志着恶意 AI 从理论概念向实战工具的实质性转变,攻击者不再单纯操纵公共聊天机器人,而是将 AI 深度集成到攻击武器库中,利用模型自身的推理能力规划攻击路径。尽管文中提到的具体技术细节如 XMRig 挖矿脚本和 go2rtc 摄像头探测均为已知手段,但其组合方式使得大规模自动化攻击变得极易实施。事实层面,Symantec 已确认攻击样本存在且包含完整的攻击逻辑;推断层面,随着更多开源权重模型(Open-weight models)的发布,此类针对未受保护端点的自动化攻击将成为常态;猜测层面,未来可能会出现专门针对特定行业 API 网关的定向攻击,迫使组织必须假设所有新上线的 AI 服务都会立即遭到探测和尝试劫持。
ECHO 论文指出偏好优化中的共同模式偏移会引发词汇坍塌与生成崩溃
这篇 arXiv 论文提出 ECHO 框架,发现偏好优化(如 DPO、SimPO)在提升所有排序指标的同时,会在模型隐藏状态中构建一个共享的“共同模式偏移”,这种偏移因相对损失难以察觉而不断累积,最终导致生成崩溃。该偏移表现为跨 token 位置、提示词及选择/拒绝响应的方向性漂移,当它投影到输出层时会形成“词汇井”,使单个 token 概率被过度抬高并主导解码过程。 实证数据显示,在研究的每 token 排序损失设置下,17 个基础模型谱系中有 14 个出现了相同的坍塌现象;即使在全参数微调下,基于 Llama-2 和 Llama-3.1 的 SimPO 训练也会驱动偏移进入坍塌状态。作者通过隔离该偏移注入未处理的基础模型成功复现了坍塌,且仅用官方 SimPO 配方从公开 SFT checkpoint 训练时,偏移同样增长但未形成词汇井。此外,在 17 个 UltraFeedback 运行中,排名越高的运行反而越少被两个公共奖励模型偏好,暴露了标准排序指标的盲区。 事实层面,该研究确认了偏好优化中存在一种可被表示层信号预警的生成风险机制;推断层面,这意味着当前主流对齐方法可能正在积累隐性退化,需引入新的监控维度;猜测层面,若不及时修正,大规模部署的模型可能在特定场景下出现不可逆的生成失效。
中国黑客利用 ARTEX 框架通过 ConnectWise 入侵数千家公司
微软安全研究人员披露,中国国家支持的黑客在攻破 IT 管理巨头 ConnectWise 的云备份服务后,窃取了用于建立数据链接的应用程序凭证,进而以授权用户身份登录客户托管环境并访问其电子邮件和文件。 此次攻击的核心特征在于使用了名为 ARTEX 的开源 AI 框架,该框架配合 AI 模型对网络安全防御进行压力测试。受此驱动,黑客在约 2,250 个组织中实现了自动化渗透,尝试登录速率高达每分钟 3,000 次。这种攻击速度使得防御者几乎没有时间进行检测和响应。值得注意的是,同一套 AI 软件近期也被用于韩国金融系统的漏洞利用,许多系统因缺乏多因素认证而显得脆弱。 ConnectWise 已暂停云备份系统访问并进行调查,截至周四正致力于恢复服务。事实层面确认了 AI 工具被直接用于大规模自动化攻击,推断显示传统基于阈值的防御机制在面对 AI 驱动的超高频攻击时存在失效风险,猜测则指向此类攻击可能成为针对关键基础设施的常态化手段。
Tracekit 论文提出通过独立签名与凭证隔离实现不可篡改的AI Agent意图-推理-行动审计
该论文提出开源工具 Tracekit(MIT许可,版本1.4.1),旨在解决AI Agent在运行中日志可被编辑或伪造的安全问题。其核心机制是将每次Agent运行转化为第三方可离线验证的证据:一个Agent无法触及的外部签名器在执行前根据本地策略对工具调用进行决策并签名,将调用、决策和结果以Ed25519记录形式存入每运行的哈希链,并置于RFC 6962 Merkle树中,由独立见证者共同签署检查点。最终导出为.tkb包,支持Python、TypeScript及浏览器端验证器核对固定密钥,分别报告完整性与保证度。 实验数据显示,仅签名的日志能检测8类篡改中的6类,加入见证者后覆盖剩余2类;所有内部攻击均被捕获。在570个有害调用测试中,策略规则拦截了全部,但仅有50.2%的盲写规则有效,证明保护边界在于签名器与凭证的物理隔离而非策略本身。在保留测试集中,失败测试被谎报为通过的情况在86%的会话中被发现,且重放机制能以7B模型准确定位植入原因。 事实层面,该方案依赖外部签名服务与Merkle树结构,实现了调用前后的意图、推理与行动比对。推断层面,当前架构表明单纯依靠模型输出或本地日志不足以构建可信审计系统,必须引入硬件或网络层面的隔离组件。猜测层面,若该机制广泛采用,可能推动Agent开发从“功能优先”转向“证据优先”,但具体落地成本与性能开销仍需进一步观察。
论文揭示指令微调数据选择器的效用劫持攻击及无标签防御机制
该研究首次系统性地揭示了针对面向效用的指令数据选择器的自适应供应商侧攻击,即“效用劫持”(utility-hijacking)。这种攻击通过构造特殊样本,使其在保持恶意载荷的同时符合选择器的评分标准,导致原本用于过滤有害数据的 top-k 选择机制反而集中了毒药数据。实验显示,该攻击在 Qwen2.5-7B 至 Qwen3-32B 等模型上,能将拒绝率从 0% 推高至 94%,不安全代码比例升至 56/90,且随着评分模型规模扩大,虚假事实注入强度增加达 7.04 倍。 攻击的核心难点在于平衡:优化样本以获取高分往往会洗掉其恶意载荷,而保留强载荷又会导致样本看起来价值低。作者提出的生成与重排(generate-and-rerank)流程,针对每个指令生成大量携带载荷的候选项,仅提交得分最高的幸存者。为应对此威胁,研究提出了 CONCERT 防御方案,该方案不需要内容检测器或毒药标签,而是通过标记那些被异常高频选择的供应商,并在相同预算下重新选择,仅保留两个不同选择器均排名靠前的记录。在 Qwen3-32B 上的测试表明,CONCERT 将代码类毒药的集中度从 6.67 倍降至 0 倍,事实类从 3.59 倍降至 0.67 倍,下游危害分别减少 100% 和 75%,且未影响模型能力。 事实层面,该论文证明了现有数据选择器存在被利用的安全漏洞,且 CONCERT 在特定基准上有效。推断层面,这意味着当前广泛采用的基于单一评分模型的数据清洗流程可能存在系统性风险,需引入多模型交叉验证机制。猜测层面,若行业普遍采用类似的高效选择器而不加防护,大规模微调后的模型可能在特定场景下出现隐蔽的拒答或错误知识传播,但这需要更多实际部署数据验证。
快讯
- LLM生成的置信度分数不可信且无法校准,应改用外部规则与记录进行量化Hacker News · AI
- SIREN 研究证实通过篡改已检索网页内容可将目标实体在 Claude 模型推荐中提升至第一arXiv cs.CR
- SweepMark提出无需查询即可高保真攻击鲁棒音频水印的方法arXiv cs.CR
- AgentPolicyForge 框架通过可执行环境构建策略基准并迭代训练智能体守卫arXiv cs.CR
- SUDP协议解决Agent系统中用户密钥被代理长期占用的安全问题arXiv cs.CR
- 论文提出通过伪造证据诱导LLM进行反取证攻击的新分类与概念验证arXiv cs.CR
- 通过对抗未更新探针进行对齐会失效,持续更新探针可提升诚实性与安全性arXiv cs.CR
- agent-usage-guard 作为 Claude Code 插件防止子代理滥用导致的使用窗口提前耗尽Hacker News · AI
- NVIDIA OpenShell 0.1 发布支持内核级隔离与形式化验证的 Agent 运行时Hacker News · AI
- AWS SageMaker AI 发布无服务器模型定制训练会话,支持自定义后训练循环AWS Machine Learning Blog
- IBM 在 Hugging Face 发布 Granite 时间序列集成模型 R1,无需微调即可组合四种架构Hugging Face Blog