TensorCommitments 提出一种轻量级大模型可验证推理方案

该论文提出 TensorCommitments (TC)，一种针对大语言模型的张量原生可验证推理方案，旨在解决用户在使用外部云 GPU 运行 LLM 时必须信任远程执行未被篡改的问题。现有加密方法在 LLM 规模下速度过慢，而非加密方法则要求验证者拥有强大的 GPU，TC 通过多变量 Terkle Trees 将推理绑定到不可逆的承诺标签上，使得证明者无需重新运行模型即可向验证者证明推理正确性。

在 LLaMA2 上的实测数据显示，TC 仅使证明者时间增加 0.97%，验证者时间增加 0.12%，同时相比此前需要强验证者 GPU 的最佳方案，其针对定制攻击的鲁棒性提升了高达 48%。这一结果证明了该方案在保持极低性能损耗的同时，显著增强了推理过程的安全性。

事实层面，该研究已在 arXiv 发布并提供了具体性能数据；推断层面，这种轻量级方案可能降低企业使用可信执行环境或第三方审计的成本，推动 LLM 服务从“黑盒”向“可验证”转变；猜测层面，若未来能适配更多模型架构，可能成为云端推理服务的标准安全组件，但需观察其在大规模并发场景下的实际表现。