Idiap与Logitech发布DialFork对话代理程序幻觉基准

1. 18:44
   Reddit · MachineLearning

   Idiap 与 Logitech 联合发布 DialFork 基准以量化对话智能体的程序性幻觉

   Idiap 研究所与 Logitech 合作发布了 DialFork，这是首个专门针对大语言模型智能体（LLM agents）中“程序性幻觉”现象的评测基准。该现象指智能体在每一轮对话中内容流畅、事实准确且工具调用正确，却偏离了预设的执行流程，例如获取天气数据后未告知用户反而要求评分。DialFork 将这一行为模式定义为继事实准确性与工具正确使用之外的第三个关键评估轴心。 该基准通过模拟 24 个任务、12 个领域的对话工作流并引入指令干扰来生成漂移样本，构建了包含超过 36,000 条对话的数据集，由 30 名人类标注员和校准后的 LLM 裁判共同验证。它定义了三个具体任务：Task 3 用于在流式对话中定位漂移起始点，可作为实时护栏；Task 2 衡量单段对话与其漂移版本之间的“程序距离”，关注对话展开顺序而非仅语义内容；Task 1 则比较两组对话集合的整体分布差异，用于监控模型升级或用户模拟器是否导致整体行为漂移。目前基于嵌入距离、流式检测器和零-shot LLM 的首批结果均显示仍有较大提升空间。 所有数据、代码、预测结果及人类标注记录均已开源，并在 Hugging Face 上建立了公开排行榜，允许社区通过上传单个 CSV 文件提交方法以追踪进展。事实层面确认了基准的构建逻辑与开源状态；推断层面认为该基准填补了当前 Agent 评估中忽视流程一致性的空白；猜测层面在于其能否成为行业通用的标准监控指标，但这取决于后续模型在 Task 1 和 Task 2 上的实际改进幅度。

当前热度 7·可比范围峰值 10（11月5日 19:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。