Reddit · MachineLearning· /u/jhzyu·2026-10-29 01:52· 8 小时前AI 评分42

GPT-OSS-20B 如何用通用反馈线实现回溯自蒸馏

How Much Does the Hint Matter? A generic feedback line matches self-written critiques in hindsight self-distillation (ACM ICAIF '26) [R]

AI 摘要

在 GPT-OSS-20B 的多步金融推理任务中，使用固定通用反馈线的回溯自蒸馏效果与模型自写批评相当。该方法仅用比完整参考解少 9.5% 的 token 即可达到 OPSD 水平，且来自大 6 倍模型的批评并未带来性能提升。研究证实回溯蒸馏提供的时序信息显著降低了对特权训练数据的需求。