论文复现失败引发基准可信度讨论

近期，研究者在使用原作者代码和超参数复现已发表论文的基线方法时，发现结果在多个基准上吻合，但在两个基准上复现分数明显低于发表数值。针对这一差异，相关讨论聚焦于如何向审稿人呈现“发表数值”与“复现数值”的不同。作者计划同时列出两组数据并明确标注配置差异，以应对审稿人可能提出的质疑。此外，文章探讨了通过保留原始代码、进行多种子实验及匹配其他基准结果来增强复现可信度的方法，并询问是否应在正文或附录中展示对比表格。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。