提出基于知识图谱的受限语义不变性框架评估LLM一致性

该研究形式化大语言模型的一致性为等价查询类上的语义不变性，并证明在一般意义上任意保持意义的变换下的不变性是不可判定的。基于此，作者提出受限语义不变性（scoped semantic invariance）框架，将模型行为评估限定在有界的语义域内，而非追求全局一致。 实验基于 MITRE D3FEND 本体和八个源自 Wikidata 的领域，利用知识图谱作为显式语义控制结构来定义局部约束和接地上下文。研究发现模型的不一致性并非随机分布，而是集中在围绕 TREE、STAR 和 CYCLE 模式的局部热点子图中，这些模式在不同模型和领域间保持稳定。此外，选择性图谱接地能提高正确性和跨模型一致性，而无差别的接地反而导致性能回退；分层接地策略则实现了最强的单调性曲线，在保留正确知识的同时降低了不一致性。 事实层面，研究证实了特定拓扑结构（TREE/STAR/CYCLE）是模型幻觉和不一致的根源，且简单的一致性探测发现的热点结构能迁移到更复杂的组合推理任务中。推断层面，这意味着单纯增加上下文或盲目引入外部知识可能无效甚至有害，必须采用受控的、分层的 grounding 机制。猜测层面，未来工程实践可能需要针对这些热点模式设计专门的检测与修正模块，但这需要进一步实证验证。