TasteBench 揭示评测偏差并提出校准协议

1. 12:00
   arXiv cs.AI

   TasteBench 论文指出位置偏差和词法泄露使模型评分虚高，并提出校准协议

   TasteBench 团队发布了一项针对视觉、品牌、书籍和科技物品的成对好坏基准测试，旨在通过专家对齐的评估标准区分真正的工艺判断与测试博弈能力。该研究在 Round-1 试点中（n=250 对）识别出三个主要效度威胁：位置偏差导致偏好项固定在 A 槽位时概率高达 0.956，词法泄露使文件名 Token 线索得分达 0.912，以及工艺领域存在接近 1.0 的难度天花板，导致所有五张 VLM 卡片的得分均被拉满。 为应对上述问题，作者提出了一套控制协议，包括仅使用专家金标（panel n>=3，一致性>=0.60）、构建时的侧边随机化、文件名清洗以及弱标签防火墙。实验数据显示，引入侧边随机化工具后，位置偏差导致的分数从 0.916 降至 0.495/0.505，有效消除了构造伪影。然而，研究也明确指出，工艺领域的难度天花板属于配对难度限制，Round-1 无法解决，需待 Round-2 处理。 事实层面，该基准已开源参考评估框架和侧边随机化工具；推断层面，现有主流多模态基准可能因类似的位置或文本线索而系统性高估模型在审美类任务上的真实能力；猜测层面，若无法解决难度天花板问题，未来关于“通用品味”的 SOTA 宣称将缺乏可信度。本研究未评估参与度、时代或圈子条件，也不声称实现了通用品味 SOTA。

当前热度 9·可比范围峰值 9（10月15日 14:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。