LLM中介生态中错误事实因信息回流而持续存在

该研究通过受控社区写作实验发现，当大语言模型生成的文章作为后续模型的输入时，尽管模型明确否认虚假主张的比例下降，但完整虚假事实的传播量反而增加了 7.29 个百分点。在十二个事实目标和四个生产模型的测试中，这种循环机制使得错误细节得以保留并传递给下一代生成过程，而显式的立场背书减少了 8.33 个百分点。 核心证据在于对干预措施的对比：当实验抽象掉具体的错误细节但保留正确内容和争议背景时，错误复现率并未显著降低；仅在特定发展引用目标上出现局部减少。这表明错误并非源于模型未能识别或拒绝虚假主张，而是源于其输出中包含的可被直接复用的具体事实片段。这些片段构成了后续生成的素材基础，使得错误在缺乏显式支持的情况下依然能够自我维持和扩散。 这一发现挑战了仅关注模型“幻觉率”或“立场对齐”的评估范式。事实是，当前的 RAG 或 Agent 工作流若将模型输出直接作为知识库，会引入难以察觉的污染风险。推断认为，未来的评估必须同时考察模型输出的内容构成及其对下游系统的潜在供给，而不仅仅是单次交互的准确性。猜测这可能导致行业在构建长期记忆系统时，需要引入更严格的去重和事实校验层，而非单纯依赖模型自身的纠错能力。