AI4Fire 评估大模型在野火任务中的表现

arXiv 发布的 AI4Fire 研究对六个核心大语言模型进行了零样本测试，评估其在五种野火管理任务上的表现，重点对比了无上下文（Bare）与有上下文（Grounded）两种模式下的差异。研究发现，当答案直接包含在提供的额外信息中时，上下文辅助效果显著，例如只读 SQL 工具将数据库准确率从最高 16% 提升至至少 88%；但在缺乏明确线索的任务中，模型表现甚至不如简单的统计规则，如重复当日人员配置或复制近期相似火灾日的中位数预测。 该研究还揭示了公开数据集的潜在隐患：一个名为 fire-danger 的列能够完美分离测试集，暗示数据泄露风险；此外，67 张空中火灾帧的热红外最大值被截断后读取为阴燃或无火标签，可能导致训练偏差。这些发现表明，当前模型在处理需要严格事实依据的灾害管理任务时，若缺乏有效的工具调用或高质量的数据清洗，极易产生误导性的输出。 事实层面，论文确认了特定场景下工具调用的有效性及简单规则的优越性，同时指出了数据集中的结构性问题。推断层面，这暗示在高风险领域部署 LLM 必须依赖严格的验证机制和外部工具，而非单纯依赖模型本身的生成能力。猜测层面，未来针对此类垂直领域的模型微调可能需要更关注数据去偏和工具链路的整合，以避免因数据污染导致的系统性错误。