跳到正文
原文
Hacker News · AI· sarojas123·· 18 小时前精选AI 评分84

dowbench 开源扫描 LLM Agent 工具定义中的成本放大风险

Scan your LLM agent's tools for cost-amplification bugs (no API key)

AI 导读

dowbench 是一个开源离线工具,读取 LLM Agent 的工具定义,扫描可能导致 denial-of-wallet 成本放大的结构,例如无结果上限、无分页上限、把先前输出回传为输入字段,以及缺少调用预算。扫描不调用模型 API、不需要 key,也不产生费用;它给出的结论是模式匹配,而不是对实际账单的预测。

项目背后还有一个可复现基准:攻击、防御和模型组成矩阵,用 provider 计费的 token 和美元成本评分。材料给出的早期试点显示,在 gemini-3.5-flash-lite 上,bloat-verify-001 攻击把单次任务成本放大到基线的约 8.8 倍;在测试的五种防御中,只有 result_cap 能阻止该攻击,并把攻击成功率降到 0%,对正常任务的额外成本约 +1.1%。材料同时说明这些样本量只有 1 到 5,属于方向性结果,不是稳定费率。

对做 Agent 产品的团队,事实层面的启示是:成本攻击不一定需要复杂提示词注入,一个返回外部数据但没有 size/limit 参数的工具,就可能通过一次大结果撑爆上下文并推高计费输入 token。推断是,把结果上限、分页上限和调用预算写进工具层,比只依赖 turn_limit 或 token_budget 更贴近这类攻击路径。猜测是,这类扫描可能成为 Agent CI 安全检查的一部分,但材料中的基准仍处于 alpha 和早期试点阶段。

推荐理由

它把 Agent 成本攻击从红队叙事落到可复现实验:无界工具结果可放大账单,result_cap 是当前低成本防御。

来源:Hacker News · AI · github.com