Qwen3 塔吉克语适配：文本损失降低未提升理解

该研究在 2025 年 6 月至 10 月期间训练了 15 个基于 Qwen3（从 0.6B 到 8B）的 LoRA 适配器，发现虽然所有尺寸的模型在塔吉克语新闻和书籍数据上的文本损失均降低了 0.60 至 1.45 nats per token，但在 Belebele 等可测量的阅读理解任务上均未取得实质性提升。其中 1.7B 和 8B 适配器的准确率保持不变，4B 适配器甚至下降了 3.7 分，而 0.6B 适配器虽上升 4.2 分但分数接近随机猜测且伴随答案偏好变化，作者明确不将其视为真正的理解能力提升。 相比之下，在 8B 模型上使用约 3.75 亿 tokens 的原始塔吉克文本进行持续预训练后，Belebele 得分提升了 9.9 分；经过进一步的监督微调后，主模型 e3 在 Belebele 上比 Qwen3-8B 高出 11.4 分，同时英语 MMLU 仅下降 1.2 分，且排除了损失大于 3.3 分的情况。然而，将同样的重配方应用于 Qwen3-0.6B-Base 时，尽管其文本损失在仅使用书籍预训练后接近 8B 模型水平，但其多项选择题答案仍停留在随机猜测水平，且英语 MMLU 下降了 7.6 分。 报告还揭示了实验过程中的关键失败细节：包括丢失的训练记录、几乎不包含推理内容的思维模式数据集、未文档化的后续分支训练数据，以及一个包含零 Transformer 层的 4-bit 发布版本。事实层面显示单纯降低文本损失无法保证多语言能力迁移，推断表明小参数模型在低资源语言上可能面临更严重的灾难性遗忘或过拟合风险，猜测部分关于 4-bit 版本无 Transformer 层的具体技术实现机制未在文中展开。