跳到正文

#工程/实践

今日 3 条
今天10月2日周五
  1. arXiv cs.AI68

    ActiveSaddler 将自动化课程学习引入 LLM Agent harness 优化

    ActiveSaddler 提出一种自动化课程学习方法，用于优化 LLM agent 的 harness，即提示词、工具接口与控制逻辑的组合。该方法不再固定使用预设训练场景，而是把课程建模为非平稳多臂老虎机问题，动态调整哪些失败模式应被优先优化。 系统将反复出现的执行失败抽象为可复用的 failure-pattern arms，估计针对每个模式继续优化可能带来的学习进展，并在修复已知弱点与探索未见场景之间做平衡。在 GAIA2 和 Terminal-Bench 2.0 上，相比使用固定场景顺序的同一 harness 优化器，ActiveSaddler 分别提升测试 Pass@1 4.4 和 7.5 个百分点。 事实是论文给出了两个基准上的量化增益与消融结果；推断是这种收益来自对优化目标集合和优先级的持续更新；猜测是这类课程共演机制可能更适合长周期、多轮迭代的 agent 工程流程。

    推荐理由：它把 agent harness 优化从固定场景迭代推进到自适应课程学习，可改变对训练场景选择策略的工程判断。

  2. arXiv cs.AI42

    Praxa：一种证据约束的 AI 智能体执行框架

    Praxa 提出一种通过确定性准入、代理执行和外部回读显式化智能体状态转换的证据约束架构。在 Terminal-Bench Core 0.1.1 测试中，其可靠性层比基线多消耗 37.49% 输入 token 和 50.73% 输出 token；另一对比实验显示候选方案虽减少 37.11% token 和 33.84% 成本，但未证明质量或延迟提升。当前证据未确立对抗安全、生产安全性或通用优势。

  3. Hacker News · AI84

    dowbench 开源扫描 LLM Agent 工具定义中的成本放大风险

    dowbench 是一个开源离线工具，读取 LLM Agent 的工具定义，扫描可能导致 denial-of-wallet 成本放大的结构，例如无结果上限、无分页上限、把先前输出回传为输入字段，以及缺少调用预算。扫描不调用模型 API、不需要 key，也不产生费用；它给出的结论是模式匹配，而不是对实际账单的预测。 项目背后还有一个可复现基准：攻击、防御和模型组成矩阵，用 provider 计费的 token 和美元成本评分。材料给出的早期试点显示，在 gemini-3.5-flash-lite 上，bloat-verify-001 攻击把单次任务成本放大到基线的约 8.8 倍；在测试的五种防御中，只有 result_cap 能阻止该攻击，并把攻击成功率降到 0%，对正常任务的额外成本约 +1.1%。材料同时说明这些样本量只有 1 到 5，属于方向性结果，不是稳定费率。 对做 Agent 产品的团队，事实层面的启示是：成本攻击不一定需要复杂提示词注入，一个返回外部数据但没有 size/limit 参数的工具，就可能通过一次大结果撑爆上下文并推高计费输入 token。推断是，把结果上限、分页上限和调用预算写进工具层，比只依赖 turn_limit 或 token_budget 更贴近这类攻击路径。猜测是，这类扫描可能成为 Agent CI 安全检查的一部分，但材料中的基准仍处于 alpha 和早期试点阶段。

    推荐理由：它把 Agent 成本攻击从红队叙事落到可复现实验：无界工具结果可放大账单，result_cap 是当前低成本防御。