提出针对幻觉的迭代提示编辑方法

该论文指出不同大语言模型在幻觉压力测试中可能获得相似的平均分数，但实际诱发的幻觉类型和严重程度存在显著差异。作者开发了一种针对目标模型的迭代编辑流程，通过LLM编辑器根据目标模型的回答、裁判的分类评分及解释，持续修改基于源文本的种子提示词，使测试能更精准地暴露特定模型的内在或外在幻觉问题。 实验覆盖来自七个数据集、十个主题的500个种子样本，并在开源与闭源模型间进行了评估。结果显示，经过编辑后，裁判评定的幻觉严重性显著提升；在基线配置下，保留的回答中有77.2%落入强外在幻觉区间，74.2%落入强内在幻觉区间。后续编辑轮次贡献了超过一半的分数提升幅度。在通过模型辅助源有效性检查的219个提示词中，有89个引发了包含无依据主张的回答。尽管五个模型使用200个精心策划的提示词获得了相似的总体严重性分数，但提示词层面的成对Spearman相关系数仅为0.0387至0.1897，表明这些提示词的诊断价值高度依赖于源有效性和各模型的具体失败模式。 事实层面，该方法确实能通过迭代反馈机制提高幻觉检测的敏感度，且不同模型间的测试结果相关性极低。推断层面，这意味着仅依赖单一静态基准测试集来评估模型幻觉能力可能存在盲区，无法区分模型在特定任务上的真实表现差异。猜测层面，若行业广泛采用此类动态生成的测试集，可能会加速模型在特定幻觉模式上的过拟合，导致静态基准的有效性进一步下降，但这需要更多实证数据支持。