8 个前沿模型在 480 段 ASMR 音频上的标签准确率远低于人类标注

作者训练 text2asmr 模型时尝试用前沿模型作为 12.6 万条录音的自动标注器，结果发现它们在识别物理触发音（如纸张摩擦、刷动）方面表现极差。在 480 段包含 20 类标签的测试集中，Gemini 3.1 Pro 在“人声”类别的 F1 得分为 0.70–0.79，但在“纸张”和“刷动”等物理声音上与人类标注的 F1 得分低至 0.18，甚至不如随机猜测。GPT Audio 1.5 和 MiMo v2.6 Pro 的表现也分别仅为 0.288 和 0.243，而基于频谱图的 Claude Opus 5.5 和 Grok 4.7 得分更低。

关键证据显示，模型并非完全无法听声，而是混淆了语义与声学特征。例如 Gemini 3.1 Pro 在外部数据集 FSD50K 的“刷动”样本中召回率高达 92%，但在真实 ASMR 片段中该指标骤降至 0.18；同时它在无粘性内容的片段中错误标记“粘性”59 次。早期使用廉价模型结合转录文本的线性探针未能超越多数类基线，证明其依赖文本而非听觉特征。最终方案采用 Dawid-Skene 融合多个弱标注器（含 CLAP 和能量检测器），但无法生成任何单一标注器能听到的类别标签，导致“纸张”“刷动”等关键类别仍需人工补充。

事实层面：前沿音频模型在细粒度物理声音识别上存在显著性能缺口，且部分模型表现出系统性幻觉。推断层面：当前多模态模型的“听觉”能力高度依赖文本上下文或特定声学模式，难以泛化到复杂、细微的物理交互场景。猜测层面：若缺乏高质量人工标注闭环，仅靠模型自监督或弱监督可能无法突破此类感知瓶颈。