AO-DA 架构将边缘 LLM 的逻辑推理与人格表达解耦以抵御上下文污染

这篇 arXiv 论文提出 AO-DA 架构，通过在单个 INT4 基座模型上分离逻辑推理（What）与人格表达（How）两条推理路径，解决边缘设备小语言模型在长上下文和误导性历史中出现的逻辑退化问题。该架构使用热插拔 LoRA 适配器，逻辑路径仅接收核心对话轮次并输出可验证的结构化状态（Micro-State），而人格路径负责结合完整历史进行角色渲染。

在 Apple M2 笔记本上的消融实验显示，当上下文污染加剧时，解耦架构的逻辑路径提示词长度稳定在 180（Llama）或 167（Gemma）tokens，而混合单路路径从 242 激增至 1,203 tokens；解耦路径的输出在所有污染级别下字节完全一致（40/40），而混合路径的逻辑评分从 0.669 降至 0.150（Llama）和 0.487 降至 0.150（Gemma）。此外，解耦架构在 8B 模型上比单路路径更稳健，失败率从 80-95% 降至 0-20%，但在 4B 模型上两者均崩溃。虽然首轮解码耗时增加至 28.2 秒（对比 18.2 秒），但实现了 1.7 毫秒的人格热切换且无需重跑逻辑路径。

事实层面，该研究证实了特定架构设计能显著降低上下文污染对逻辑输出的影响，且代码、适配器和日志已开源。推断层面，这种双路径机制可能成为未来端侧 Agent 处理复杂交互的标准范式，特别是对于需要长期记忆和角色一致性的应用场景。猜测层面，若该技术能扩展到更大参数模型，或许能缓解当前大模型在长窗口下的性能衰减趋势，但这需进一步验证。