北海道大学医院部署 Kimi K2.6 与 LLENS 平台实现封闭网络内 AI 智能体实测
The LLENS Platform for On-Premises Large Language Model Agents in a Japanese University Hospital: Development and Evaluation Study
该研究在北海道大学医院的封闭网络环境中,成功部署并评估了名为 LLENS 的临床支持 AI 智能体平台。系统基于单台主机上的 8 块 NVIDIA H200 GPU 运行开源模型 Kimi K2.6(约 1 万亿参数),通过 WebUI 提供交互界面。该平台包含页面图像读取、全文附件输入、无向量索引的路径寻址文档树、网络隔离沙箱等 10 个组件,旨在解决医疗信息系统无法连接外部网络的痛点。
在针对 180 个医院文档问题的测试中,不同检索策略导致准确率差异显著:不使用文档时准确率为 10.7%,使用固定检索(Lexical search top 10)时为 81.3%,而采用允许模型通过工具阅读文档和沙箱的交互式访问模式时,准确率飙升至 97.2%。这一提升主要源于对过滤和计数类问题的处理,后者在交互式模式下准确率达到 87.8%,远高于固定检索的 16.7%。Kimi K2.6 在该场景下生成速度为 119 tokens/s,并发服务 16 个请求时总吞吐量为 908 tokens/s。
事实层面,LLENS 自 2026 年 9 月 14 日起已在医院网络运行,且 Kimi K2.6 在 2026 年日本医师执照考试中取得 480/500 分。推断表明,在数据隐私要求极高的封闭环境中,放弃向量索引转而采用路径寻址结合交互式工具调用,可能是比传统 RAG 架构更有效的方案。猜测部分认为,这种高算力消耗(H200)与特定开源大模型(Kimi K2.6)的组合可能难以在其他机构快速复制,但其验证的“交互式访问”机制具有普适参考价值。
来源:arXiv cs.CL · arxiv.org