arXiv cs.CL· Ilyas Nagiyev, Miras Baisbay, Daniil Orel, Preslav Nakov·· 3 小时前AI 评分60
SCOPE 论文提出基于多智能体的新闻机构偏见与事实性评估框架
SCOPE: Source Credibility and Outlet Profiling Engine
AI 摘要
该论文介绍了 SCOPE,一个用于分析新闻媒体偏见、事实性和可信度的多智能体系统。该系统接收媒体网址作为输入,协调专门代理执行文章获取、内容分析、外部证据搜索、评分和报告生成等任务。在包含 200 个媒体的基准测试中,SCOPE 在大多数指标上优于仅使用大语言模型、仅文章内容、仅搜索或背景检查的基线方法,实现了最低的偏见和事实性平均绝对误差(MAE)、完美的失败事实核查检测以及最低的事实错误率。
核心机制在于其遵循 MBFC(Media Bias/Fact Check)风格的方法论,但通过结构化演示界面使中间证据和代理输出可被检查。这种分解式、基于证据的智能体工作流设计,使得评估过程比单一模型或单一数据源更具透明度。代码和实时演示已公开,表明该研究不仅停留在理论层面,还具备工程落地和复现的可能性。
推断认为,将复杂的社会科学评估任务拆解为多个具有特定职能的智能体,并强制引入外部证据检索环节,是提升 AI 在敏感领域(如新闻真实性判断)可靠性的有效路径。这区别于单纯依赖模型内部知识或微调数据的传统做法。猜测此类架构未来可能被整合进浏览器插件或内容聚合平台,作为用户侧的信息过滤工具,但其实际部署效果仍取决于外部证据库的覆盖范围和更新频率。
来源:arXiv cs.CL · arxiv.org