跳到正文
原文
Reddit · MachineLearning· /u/Virtual-Message-9739·· 7 小时前AI 评分42

PBT 无法加速 Grokking,但可逃离无效超参数范围

PBT doesn’t make grokking faster, but it can escape a hyperparameter range where nothing groks [P]

AI 摘要

Population Based Training (PBT) 在模块化加法任务中未能比固定网格搜索更快实现 Grokking,最佳固定设置仅需 317 步即达 95% 准确率。但在特定超参数死区(lr 1e-4 至 1e-3, wd 0.01 至 0.08),PBT 能以约 6850 步成功逃逸,而固定设置完全失效。该研究结论表明 PBT 是应对坏范围的救援工具而非提速方案。

来源:Reddit · MachineLearning · reddit.com