Hugging Face 发布 VocabX 优化 SLM 推理成本

Dharma-AI 在 Hugging Face 发布 VocabX 方法，通过重新设计小语言模型的词表结构，在不改变基座模型和训练数据的前提下，将特定场景下的推理成本降低了 77%。该方法针对的是垂直领域模型（如基于 Qwen3-4B 的葡萄牙语作文自动评分器），解决了通用词表在处理单一任务时存在的碎片化和冗余计算问题。 核心机制在于改变了词表构建的评估标准：不再单纯依据 token 出现频率，而是根据其在输入（prefill）或输出（decode）阶段产生的实际计算成本进行加权。由于生成 token 时的内存带宽消耗远高于读取 token，VocabX 优先压缩高频输出的重复片段（如 JSON 模板、固定评语）。同时，它结合了子词合并与宏 token（macro tokens）技术，将长重复序列直接映射为单个 token，并将词表大小从约 15.2 万缩减至 6.5 万，大幅减少了 LM head 层的参数矩阵运算量。 实测数据显示，在保持相同测试集和硬件环境（RTX 5090 + vLLM）的情况下，该方法的平均响应 token 数从 350 降至 101，且模型质量指标（bench score）不降反升。这一结果揭示了在端侧或低成本推理场景中，针对特定业务逻辑的词表定制可能比单纯增加算力或微调权重更具性价比。事实层面确认了词表层级的优化能显著影响单位经济模型，推断层面表明未来垂直应用开发应尽早介入 tokenizer 设计而非仅关注模型架构。