Saidzoda-Tajik-LFM-2.6B 论文显示持续预训练在提升塔吉克语工具调用时剥离了原生技能

Saidzoda-Tajik-LFM-2.6B 论文发布了一个针对塔吉克语工具调用的 2.6B 混合模型适配方案，核心发现是 LoRA 持续预训练（CPT）阶段虽然将严格全调用准确率从 20.69% 提升至 64.14%，但同时也移除了基座模型的 native tool-call format 和部分原有技能。

具体数据显示，经过 3 个 epoch 的 CPT 和 1 个 epoch 的监督微调（SFT）后，模型在 174 项测试集上的表现显著提升，但每个 CPT checkpoint 得分均为零；同时英语 MMLU 分数从 60.8 降至 52.5，且模型在非工具匹配场景下几乎从不拒绝（正确率仅 6.9%），多轮调用能力也较弱。

事实层面确认了低成本硬件适配特定语言工具调用的可行性，推断表明对于低资源语言，直接进行 CPT 可能比 SFT 更容易导致通用能力和格式记忆的丧失，猜测这要求后续工程实践必须引入 replay 机制或调整训练顺序以保留基座能力，而非单纯依赖持续预训练。