StartLux 开源 Prism 推理引擎，针对决策任务实现最高 5.3 倍加速

StartLux 宣布开源专为 StartLux-Decision 模型设计的推理引擎 Prism，旨在解决通用框架在处理决策类任务时的效率瓶颈。测试数据显示，在单张 NVIDIA H200 GPU 上，Prism 相比 vLLM 方案在特定场景下推理速度提升最高达 5.3 倍，同时支持张量并行与数据并行的组合部署。

该引擎的核心优化集中在四个维度：首先，针对决策模型仅需计算有限候选选项概率的特点，Prism 重构了输出层计算逻辑，仅对有效候选 Token 计算 Logits，避免了全词表（约 24.8 万 Token）计算的开销；其次，通过构建类似“森林”的计算结构复用公共上下文的中间结果，解决了同一份材料回答多个问题时重复分词和调度的问题；第三，引入确定性计算设计，利用 INT8 Tensor Core 和 INT32 累加减少浮点运算顺序差异，确保在不同并发配置下输出概率逐位一致；最后，采用混合调度策略让思考任务与直接回答请求共享 GPU 显存，避免长推理阻塞短请求。

性能方面，Prism 在短问题和共享上下文的多问题场景中表现突出，处理时间分别缩短至原方案的 19 毫秒和 17.4 毫秒。在高并发吞吐场景下，每秒处理请求数从 26.3 提升至 30.7，增幅约 17%。值得注意的是，这种显著的性能收益高度依赖于输入材料的可复用性和任务类型，并非所有工作负载都能获得同等加速。此外，团队还开发了专用 INT8 GEMM 内核，在指定矩阵计算中达到 cuBLASLt 的 1.3 至 2.0 倍性能。事实层面，Prism 确实实现了上述加速效果且准确率损失极小（0.03 个百分点），但推断其适用于所有决策场景需谨慎，因为收益取决于具体的硬件条件和输入特征。