深度剪枝小模型函数调用与数学推理能力崩溃研究

该研究针对1.2B至1.7B参数量的四个指令微调模型（Llama-3.2-1B、Qwen2.5-1.5B、SmolLM2-1.7B和OLMo-2-1B）进行深度剪枝实验，发现移除Transformer层会导致特定能力严重受损，其中函数调用和数学推理在所有模型中均发生崩溃，保留率仅为未剪枝分数的0.00至0.07。 研究进一步对比了不同修复策略，指出全量微调最后三层比在全层添加低秩适配器（LoRA）能带来最高0.18的保留率提升，且仅需每领域30万token的试点即可验证差异；尽管测试了一种从21次短试点中分配1M token预算的智能体规划器，但在固定预算下仅有两个家族的最弱能力得到提升，且这种提升在重采样训练种子后无法复现。 事实层面，当计入348万token的试点成本后，均匀微调（Uniform Healing）在同等总训练token数下匹配或超越了所有规划变体，并在三个家族的项级测试中显著保留了数学能力。推断表明，对于端侧Agent部署，简单的长周期统一微调是比复杂规划恢复更可靠的基线，猜测这源于剪枝造成的损伤分布不均需要全局参数调整而非局部修补来修复。