Reddit · MachineLearning· /u/Traditional_Frame763·· 3 小时前AI 评分42
1100 万参数编码器验证“优质视图优于下一词预测”：人类标注仅用 1.1 亿参数模型复现 Balestriero & LeCun 2026 论文
Small-scale check of "good views beat next-token prediction" (Balestriero & LeCun 2026): human captions only, 11M-param encoders [P]
AI 摘要
用户以 1100 万参数的 4 层编码器在 COCO 数据集上复现 Balestriero & LeCun 2026 论文，发现使用两张不同图片描述（优质视图）训练的文本模型与 DINOv2 嵌入的互相关分数达 0.328，显著高于单张描述（0.196）和下一词预测（0.168）。该实验仅在笔记本电脑规模进行，未涉及图像泄露，且结果顺序在不同学习率搜索中保持一致。
来源：Reddit · MachineLearning · reddit.com