Reddit · MachineLearning· /u/InsectActive95·· 3 小时前AI 评分20
复现论文基准失败:如何向审稿人呈现“发表数值”与“复现数值”的差异
Couldn't reproduce a published paper's numbers with its own code and settings. How do I present this? [R]
AI 摘要
研究者使用原作者代码和超参数复现已发表论文的基线方法,在多个基准上结果吻合,但在两个基准上复现分数明显低于发表数值。面对审稿人可能质疑复现准确性的风险,作者计划同时列出两组数据并明确标注配置差异。文章探讨了如何通过保留原始代码、多种子实验及匹配其他基准结果来增强复现的可信度,并询问是否应在正文或附录中展示对比表格。
来源:Reddit · MachineLearning · reddit.com