ThinkJev 让模型在无需训练下按预算动态分配思考以校准决策

这篇来自 arXiv 的论文提出 ThinkJev 框架，利用单一混合思维模型在无需额外训练的情况下，实现根据预算动态分配“思考”token 以校准类型化决策（typed decisions）。该方法通过构建快慢双系统：System 1 直接读取概率，System 2 在缓存提示词后读取经过思考的概率，两者基于同一组选项字母，使得单次采样生成的思考过程可衍生出任意思考预算下的答案。

核心机制在于利用统计测试在标记的开发数据上保证 System 1 仅在置信度足够时独立作答，从而将错误率控制在目标阈值内。实验显示，在 5% 的目标错误率下，Qwen3.5-27B 能以 3.9% 的实际错误率独立处理 24.5% 的测试决策；对于剩余部分，一旦思考 token 使答案达到置信度即停止，最终准确率达到 81.6%，仅消耗始终思考模式 72% 的思考 token。相比之下，仅依赖 System 1 的置信度来触发思考效果较差，因为 System 1 最不确定时往往并非思考能修正的场景。在 JevBench 基准测试中，Qwen3.5-27B 在公开项目上仅对 29.4% 的决策进行思考，其准确率与两个现有的思考型 API 无显著差异。

事实层面，该研究验证了混合思维模型在无训练条件下通过概率读取实现动态推理的可行性，且 Qwen3.5 系列在不同参数量下表现各异。推断层面，这种机制可能降低端侧或高频场景下大模型的推理延迟与算力成本，特别是对于算术、计数等需多步推理的任务。猜测层面，若该框架能进一步适配更多类型的决策任务并优化缓存策略，或许会成为通用推理服务中的标准组件，但具体商业化路径及与其他推理框架的兼容性仍需后续观察。