Typed Decisions方法用LoRA替代昂贵LLM评测Agent会话

该论文提出并验证了一种名为Typed Decisions的单前向传递决策机制，通过读取语言模型的logits或隐藏状态上的小头来计算选项概率，而非生成文本。研究分为两部分：第一部分展示了内部自研的System 1评估器如何替代昂贵的前沿LLM评估器，将14.8万条智能体编码会话记录的筛选成本从每次约1000美元降至约0.06美元，同时保持了与双评估器共识相当的一致性；第二部分则测试了在公开JevBench基准上，无需增加参数的LoRA适配器读出层是否具备竞争力，结果显示35B模型在111个困难项上达到79.3%的准确率，显著优于五个开放系统。 关键证据显示，使用冻结骨干网络配合秩-16 LoRA适配器和指针头，仅需一张GPU运行三分钟即可处理1000条会话，成本约为商业方案的1%，且所有数据保留在组织内部。实验还发现，对输出层的26个字母行进行训练并未带来可检测的收益提升，但重新训练后2B模型在困难层级上的准确率提升了11.7个百分点，这表明小规模评估可能无法充分反映模型性能的真实变化。 事实层面，该方案成功实现了低成本、高一致性的自动化评估闭环；推断层面，这种架构可能成为未来构建私有化、低延迟Agent工作流的标准组件，尤其适用于需要高频次、大规模数据清洗的场景；猜测层面，若该模式能进一步推广至多模态输入，可能会重塑当前依赖大模型进行自我反思和评估的行业惯例，但具体效果仍需更多跨领域验证。