北海道大学医院部署LLENS大模型Agent平台

该研究在北海道大学医院的封闭网络环境中，成功部署并评估了名为 LLENS 的临床支持 AI 智能体平台。系统基于单台主机上的 8 块 NVIDIA H200 GPU 运行开源模型 Kimi K2.6（约 1 万亿参数），通过 WebUI 提供交互界面。该平台包含页面图像读取、全文附件输入、无向量索引的路径寻址文档树、网络隔离沙箱等 10 个组件，旨在解决医疗信息系统无法连接外部网络的痛点。 在针对 180 个医院文档问题的测试中，不同检索策略导致准确率差异显著：不使用文档时准确率为 10.7%，使用固定检索（Lexical search top 10）时为 81.3%，而采用允许模型通过工具阅读文档和沙箱的交互式访问模式时，准确率飙升至 97.2%。这一提升主要源于对过滤和计数类问题的处理，后者在交互式模式下准确率达到 87.8%，远高于固定检索的 16.7%。Kimi K2.6 在该场景下生成速度为 119 tokens/s，并发服务 16 个请求时总吞吐量为 908 tokens/s。 事实层面，LLENS 自 2026 年 9 月 14 日起已在医院网络运行，且 Kimi K2.6 在 2026 年日本医师执照考试中取得 480/500 分。推断表明，在数据隐私要求极高的封闭环境中，放弃向量索引转而采用路径寻址结合交互式工具调用，可能是比传统 RAG 架构更有效的方案。猜测部分认为，这种高算力消耗（H200）与特定开源大模型（Kimi K2.6）的组合可能难以在其他机构快速复制，但其验证的“交互式访问”机制具有普适参考价值。