论文测量现成 SLM 在 Agent 微任务上的资格缺口：16 个 Qwen3 配置均未达阈值

这篇 arXiv 论文测试现成小语言模型能否在 Agent harness 中承担围绕主 LLM 规划器的微任务，例如自动批准 shell 命令、写入记忆、选择工具和排序历史轮次。作者构建了 4 个固定提示、自动指标和预设阈值的基准，阈值锚定廉价非 LLM baseline，并要求配置的置信区间下界超过阈值才算合格。

在不调参、仅用 FP16、greedy 和单一冻结提示的条件下，Qwen3 0.6B、1.7B、4B、8B 的 16 个任务与模型组合全部未通过，作者通过检查原始输出和 parser 行为确认结果。logprob 决策阈值诊断把失败分为能力不足和可通过改变解码阈值修复两类；4-bit 量化（RTN/GPTQ/AWQ）造成的损害取决于模型规模，但没有让任何配置达到资格，且结果在 Llama-3.x 上复现，12 个配置均不合格，对阈值扫描和提示改写也稳健。

事实层面，论文给出的核心结论是现成 SLM 不能直接通过这类微任务的严格资格门槛。推断层面，作者建议把 SLM 放在已满足阈值要求的 baseline 之后，只在 baseline 失败时调用；例如 4B 模型对 BM25 短列表重排序可提升 0.047，但它本身仍未通过资格认证。猜测层面，这意味着 Agent 系统若追求低延迟或低成本，不应把关键微任务直接交给未校准的小模型，而应设计 baseline、阈值或级联机制来兜底。