六款前沿模型将十七岁学生答案误判为成人且置信度虚高

该研究通过结构化案例测试发现，Claude Fable 5、Gemini 3.1 Pro、GPT-5.6 Sol、Grok 4.5、GPT-4o (2024) 和 DeepSeek V4 这六款前沿语言模型在识别十七岁学生手写的关于幸福的回答时，普遍存在严重的作者年龄误判现象。实验显示，其中三款模型的匹配准确率接近随机水平（约三分之一），但其平均报告置信度却高达73%至88%，最年轻作者的文本被误判为成人的比例甚至达到90%。

数据细节表明，当移除多项选择题支架转为开放式估计时，有三款模型完全无法将年龄估计误差控制在三年以内；而机构化框架（如“社区学院生物期末考试”）会显著降低表现最好的模型准确率，中性标签则无此影响。更关键的是，五款模型的陈述置信度与正确率呈不相关或负相关关系。尽管有一款模型在真相揭露后能指出自身的刻板印象（114次解释中有68次提及），但它在盲测阶段仍表现出最低准确率和最高置信度，显示出其事后解释能力无法反映实际判断质量。

事实层面，这是一项针对单一主题的单语言案例研究，旨在隔离特定机制而非估算总体偏差率，所有代码和数据已公开。推断上，这表明当前主流模型在处理社会人口学特征推理时，可能过度依赖表面风格特征而非深层逻辑，且缺乏有效的自我校准机制。猜测性结论是，若直接将这些模型用于需要精准用户画像的场景，其输出的确定性评分可能具有误导性，需引入外部验证机制。