Gemini、Llama与Qwen在Android取证报告中存在显著引用失效与幻觉问题

该研究构建了一个基于原子级声明的证据 grounding 框架，评估了 Gemini、Llama 和 Qwen 三个大语言模型在 Android 数字取证报告生成中的可靠性。实验涵盖公开数据集与物理设备案例，其中物理设备案例设定为零可报告事实边界，但模型仍生成了包含 38 个 unsupported（无证据支持）和 1 个 contradicted（被反驳）声明的报告。在公开案例中，虽然所有模型均恢复了全部 27 个授权事实，但在引用有效性上差异巨大：Gemini 产出 168 条有效引用（共需 189 条），Qwen 为 145 条，而 Llama 在 135 条需求下产出 0 条有效引用。

研究将生成的 6 份报告分解为 612 个声明，经人工审核权威来源验证后，最终语料库包含 424 个受支持声明、163 个无支持声明、4 个矛盾声明及 17 个排除声明。这一结果直接证明，即使限制证据输入并实现完整的事实召回，也无法保证声明得到证据支持或拥有有效的证据归属。框架本身提供了一种可审计的方法，用于检测无支持内容、保留声明到证据的溯源链条，并确保持证调查员对最终报告的最终控制权。

事实层面，本研究通过具体数据量化了当前主流模型在专业取证场景下的幻觉率与引用失效程度；推断层面，这表明单纯依赖 LLM 生成报告文本存在极高的合规风险，必须引入外部验证机制；猜测层面，若行业继续忽视此类原子级声明验证，可能导致法律证据链断裂，但这需要更多司法实践来证实。