VoxEntity-EU 基准测试显示 Whisper 在德语和法语中仅 34% 准确率捕获口述电话号码

作者 /u/Gjuesev 发布 VoxEntity-EU 基准数据集与评测结果，专门测试语音识别系统在德语和法语环境下精确捕获姓名、电话号码、邮箱、日期、地址或参考代码的能力。测试定义严格：只要一个字符错误即判定为失败。结果显示，Whisper 模型在口述场景下的完全匹配率仅为 34%，而同一文本的手写输入匹配率高达 91%。

该研究包含音频数据、代码及详细报告，并托管于 Hugging Face 和 GitHub。评测对象包括两个 ASR 系统，统计差异为 -2.9 个百分点（置信区间 [-7.1, +1.3]），表明两者性能在统计学上无显著区别。材料被标记为“零结果”（null result），因为核心发现是现有系统在特定语言的关键实体提取任务上表现不佳，而非展示某种新技术的突破。

事实层面，该数据集明确量化了多语种 ASR 在数字和专有名词上的高错误率。推断层面，这暗示依赖语音输入进行高精度数据录入（如医疗记录、法律证词或金融交易）的系统设计必须引入额外的验证机制，不能假设端到端语音转文字即可满足业务级准确性要求。猜测层面，若未针对特定语言或领域进行微调，通用大模型在低资源语言或复杂口音下的槽位填充能力可能普遍低于预期，但这需要更多跨语言对比数据来确认。