跳到正文
原文
arXiv cs.CL· Ryosuke Suzuki·· 5 小时前AI 评分75

端到端确定性流程使医疗设备文档评估结果可复现且字节级一致

Making every stage of medical device document assessment with large language models deterministic

AI 摘要

该研究通过向14个商业部署的大语言模型重复发送相同请求,发现所有部署在至少一个请求上返回了不同的评估结果,其中12个模型的标签发生了改变,表明当前主流方案无法保证医疗合规场景所需的确定性。即使减少推理步骤或移除检索片段,非确定性依然存在,且同一开源模型在不同服务方式下表现截然不同。

作者构建的全流程确定性管道在文本提取、OCR、分块、嵌入、索引、检索和推理各阶段均实现了跨运行、中断、编辑及不同机器(单GPU型号)的字节级一致输出,但前提是必须将OCR、嵌入和近似检索的服务配置纳入记录,因为这些环节在非不变服务下会产生波动,且输出会随GPU型号和推理引擎调度设置变化。

事实层面,端到端确定性在受控环境下是可实现的;推断层面,这意味着审计和变更控制需要记录具体的硬件和调度参数而非仅关注模型本身;猜测层面,若行业不强制规范底层推理环境配置,医疗设备的自动化合规评估将面临不可控的验证风险。

来源:arXiv cs.CL · arxiv.org