U-Space 利用隐藏状态与熵计算语言模型推理时的不确定性类型

U-Space 提出一种无标签、单遍推理的不确定性量化方法，通过计算隐藏状态指向四种“怀疑”方向（歧义、信息缺失、证据冲突、一般不确定性）的强度与推理 token 平均熵的乘积来生成分数。该方法在 Gemma 4、Qwen3.5 和 Magistral 等模型的基准测试中表现优于五遍或十遍采样的基线，且无需训练或微调。

核心机制依赖 Anthropic 全局工作空间论文中的 Jacobian Lens (J-Lens)，该组件仅需数百个词的 unembedding 行即可在 CPU 上构建四个方向的 U-Space 基座。推理时只需获取思考结束时的一个隐藏状态向量，与四个预置向量做点积，再乘以从 logits 直接获得的平均熵。目前 Hugging Face 已提供 40 多个预拟合的 J-Lens，涵盖 Gemma 2/3/4、Qwen3/3.5/3.6、Llama 3.1/3.3 等主流模型族；若目标模型未包含在内，可使用 Anthropic 参考代码基于约 100 条无标签提示词进行拟合，成本主要由反向传播决定。

事实层面，该项目代码已开源于 GitHub (s2labres/U-Space)，并提供了 Qwen3.5-4B 在 TriviaQA 上的端到端运行示例。推断层面，该工具适合嵌入 RAG 管道以标记证据冲突、在歧义出现时触发澄清提问，或将低置信度回答路由至更大模型。猜测层面，作者提到这是研究代码而非成熟的 pip 包，实际生产环境的集成稳定性及在不同架构模型上的泛化能力仍需验证。