跳到正文

#Meta

今日 0 条
10月2日周五
  1. Reddit · MachineLearning68

    FLEET 用奖励记忆和 MCTS 调整 logits，减少 Best-of-N 盲采样

    FLEET 的作者提出，在奖励最大化任务中给搜索加入记忆，而不是只依赖重复采样。该算法先把外部奖励归因到具体 token，再用修改版 MCTS 在下一轮生成时调整 logits，使模型能利用此前获得的奖励信息。 方法上，FLEET 追踪高熵和高 varentropy 的 logits，把这些不确定状态视为分支点；对应的归一化 hidden states 存入向量库，并与奖励历史、节点转移等元数据关联。检索和更新基于余弦相似度，因为高相似状态下 KL divergence 足够低，可保留多数有意义 token。它不直接选择 token，而是对 top-k token 和探索集合排序，并惩罚次优 token，再交给解码策略。作者称在 GSM8K 和 LiveCodeBench v6 easy split 上用 Llama 3.2 3B 测试：GSM8K 只多解出 7 道题，但用一半迭代达到采样基线；LiveCodeBench 在相同预算下把分数从 0.59 提到 0.69，并用 9 次迭代达到基线，而基线需要 32 次。 事实是作者给出了方法、代码、预印本和两项基准结果。推断是这类记忆化搜索可能把 Best-of-N 从盲搜索推向可复用经验，但材料未提供更大模型或更多任务上的验证；其跨任务复用、作为 SFT/RL 先验的价值仍属作者设想，需要更多实验确认。

  2. arXiv cs.CR72

    SafeDepth 提出安全感知的 token 级自适应计算框架以降低有害响应

    SafeDepth 是面向 Llama-3-8B-Instruct 的轻量插件框架，通过 router 和 adapter 选择性执行 Transformer 层，在减少计算的同时降低有害响应率。论文报告其相对 full-depth inference 减少计算并大体保持任务性能；与 FlexiDepth 相比，在五个 harmful-request benchmarks 上 unsafe-response rates 均下降，HarmBench-HJ 从 55.44% 降至 25.25%，XSTest false-refusal rate 从 12.0% 降至 4.0%。事实是跳层选择会改变安全表现，推断是 token 级自适应推理不能只按算力优化，猜测是这类方法可能成为推理成本与安全响应之间的工程折中。

  3. arXiv cs.AI78

    论文测量现成 SLM 在 Agent 微任务上的资格缺口：16 个 Qwen3 配置均未达阈值

    这篇 arXiv 论文测试现成小语言模型能否在 Agent harness 中承担围绕主 LLM 规划器的微任务，例如自动批准 shell 命令、写入记忆、选择工具和排序历史轮次。作者构建了 4 个固定提示、自动指标和预设阈值的基准，阈值锚定廉价非 LLM baseline，并要求配置的置信区间下界超过阈值才算合格。 在不调参、仅用 FP16、greedy 和单一冻结提示的条件下，Qwen3 0.6B、1.7B、4B、8B 的 16 个任务与模型组合全部未通过，作者通过检查原始输出和 parser 行为确认结果。logprob 决策阈值诊断把失败分为能力不足和可通过改变解码阈值修复两类；4-bit 量化（RTN/GPTQ/AWQ）造成的损害取决于模型规模，但没有让任何配置达到资格，且结果在 Llama-3.x 上复现，12 个配置均不合格，对阈值扫描和提示改写也稳健。 事实层面，论文给出的核心结论是现成 SLM 不能直接通过这类微任务的严格资格门槛。推断层面，作者建议把 SLM 放在已满足阈值要求的 baseline 之后，只在 baseline 失败时调用；例如 4B 模型对 BM25 短列表重排序可提升 0.047，但它本身仍未通过资格认证。猜测层面，这意味着 Agent 系统若追求低延迟或低成本，不应把关键微任务直接交给未校准的小模型，而应设计 baseline、阈值或级联机制来兜底。

    推荐理由：它用置信区间门槛证明现成小模型在 Agent 微任务上普遍不合格，提醒不要把 SLM 直接替换关键路由层。