跳到正文
原文
arXiv cs.CL· Ken Enda, Jien Saito, Masami Mukai, Feng Han, Emir Turkes, Tatsumi Kusakabe, Reona Umeki, Kazuhiro Sumiyoshi, Mitsuya Numata, Takumi Tanikawa, Akira Endoh, Kenji Hirata, Atsushi Yoshida, Kohsuke Kudo, Shinya Tanaka·· 5 小时前AI 评分72

北海道大学医院部署 Kimi K2.6 与 LLENS 平台实现封闭网络内 AI 智能体实测

The LLENS Platform for On-Premises Large Language Model Agents in a Japanese University Hospital: Development and Evaluation Study

AI 摘要

该研究在北海道大学医院的封闭网络环境中,成功部署并评估了名为 LLENS 的临床支持 AI 智能体平台。系统基于单台主机上的 8 块 NVIDIA H200 GPU 运行开源模型 Kimi K2.6(约 1 万亿参数),通过 WebUI 提供交互界面。该平台包含页面图像读取、全文附件输入、无向量索引的路径寻址文档树、网络隔离沙箱等 10 个组件,旨在解决医疗信息系统无法连接外部网络的痛点。

在针对 180 个医院文档问题的测试中,不同检索策略导致准确率差异显著:不使用文档时准确率为 10.7%,使用固定检索(Lexical search top 10)时为 81.3%,而采用允许模型通过工具阅读文档和沙箱的交互式访问模式时,准确率飙升至 97.2%。这一提升主要源于对过滤和计数类问题的处理,后者在交互式模式下准确率达到 87.8%,远高于固定检索的 16.7%。Kimi K2.6 在该场景下生成速度为 119 tokens/s,并发服务 16 个请求时总吞吐量为 908 tokens/s。

事实层面,LLENS 自 2026 年 9 月 14 日起已在医院网络运行,且 Kimi K2.6 在 2026 年日本医师执照考试中取得 480/500 分。推断表明,在数据隐私要求极高的封闭环境中,放弃向量索引转而采用路径寻址结合交互式工具调用,可能是比传统 RAG 架构更有效的方案。猜测部分认为,这种高算力消耗(H200)与特定开源大模型(Kimi K2.6)的组合可能难以在其他机构快速复制,但其验证的“交互式访问”机制具有普适参考价值。

来源:arXiv cs.CL · arxiv.org