Qwen3-8B长程任务中重复识别与计数器可靠性研究

1. 12:00
   arXiv cs.CL精选

   Qwen3-8B在400步账本任务中暴露长程依赖与无关内容干扰机制

   该研究通过分步评分方式分析Qwen3-8B在400步账本任务中的表现，发现重复识别错误随步骤增加而显著上升，从每步0.0019升至第200步后的0.011，而计数器在8000步内无错且局部处理保持稳定。这一现象表明长距离回忆误差与误报率上升共同导致了后期失败，而非单一组件失效。 关键证据显示，在每一步前插入无关内容块会导致计数器在所有20个种子中全部失败，但对局部处理和重复识别的影响微乎其微。进一步实验证实，若由外部预言机提供精确的状态紧凑提示词，计数器错误可降至零，且优于长度匹配的中性文本；但单个提示词是否足够仍不确定，且未验证对其他组件无损害。此外，历史响应中的错误值会持续存在无法自动修正，需外部干预才能重新对齐。 事实层面确认了模型在长程任务中不同组件的脆弱性差异：计数器对外部噪声极度敏感，而记忆检索能力随距离衰减。推断认为，当前架构在处理需要严格状态追踪的任务时，缺乏内在的错误纠正机制，必须依赖外部提示工程或系统级设计来维持可靠性。猜测部分指出，若将此类任务部署于端侧或Agent框架，需引入显式状态校验层，否则累积误差将导致系统性崩溃。

当前热度 9·可比范围峰值 9（10月16日 15:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。