Qwen3-4B 经本地微调去除 AI 文风并开源

作者 erikkannike 在 MacBook Air 上通过蒸馏和神经元编辑微调 Qwen3-4B-Instruct，发布名为 qwen3-4b-deslop 的开源模型，旨在消除大语言模型常见的 AI 写作习惯（如破折号、"not X, but Y"句式及列表）。该模型无需系统提示词即可运行，量化版仅 2.5 GB，可在 Ollama 或 llama.cpp 中直接部署。

实测数据显示，在 40 个未见过的提示词上，AI 文风评分从每千词 121 分降至 12.5 分，其中破折号使用率降为零，68% 的回答落入人类写作评分区间。训练过程经历了三轮迭代：第一轮尝试方向减法但需运行时干预；第二轮引入四个神经元的符号翻转修复特定句式，却导致模型过度连接句子且丧失观点；第三轮增加任务适配检查（如要求明确立场、第一人称叙述），最终保留约 30% 的高质量回答进行微调，使任务适配率回升至 80%，同时大幅减少虚构研究数据的情况。

事实层面，该模型仍保留平直的文风，长文本易超出字数限制，且虚构人名地名现象依然存在，主要适用于短英文 prose 生成。推断层面，这种基于规则过滤和蒸馏的方法证明了在不依赖大型算力集群的情况下，可通过小样本微调显著改善端侧模型的输出质感。猜测层面，若将此类 pipeline 扩展至 7B 或 30B 模型并结合更优质的基座语料，可能进一步平衡风格纯净度与内容创造力，但这需要后续盲测验证。