Spinf-serve 开源批量推理服务器

Spinf Inc 开源了 Spinf-serve，这是一个专为批量分类和决策推理设计的推理服务器，核心机制是在单个 GPU 上读取一次内容即可回答数十个问题，而非像传统聊天服务器那样为每个问题重新读取并生成 token。该工具运行在 OpenAI 兼容 API 之上，支持 fp8 量化模型如 Gemma 4 12B，旨在解决每日从数百万新闻文章中提取指标时的高延迟和高成本问题。 实测数据显示，在单张 RTX 4090 上运行 Gemma 4 12B fp8 模型时，面对包含 56 个问题的 24 篇文章（共 1,344 个问题），Spinf-serve 每秒可回答 491 个问题，而 vLLM 0.26 配合 prefix caching 仅能达到 200 个问题每秒。其关键差异在于将多个问题作为单次内容读取的分支进行打包处理，而非执行数千次独立的单 token 请求。系统输出每个选项的概率、logprob 及基于空内容的基准概率 floor_p，允许用户根据数据校准设定阈值进行决策，同时支持从同一读取中提取文本、数字或金额。 该引擎目前处于 0.1 版本，已包含完整的评分、提取、生成及媒体处理能力，并通过 parity-tested 确保量化后的 log-probabilities 与参考记录位一致。它支持预加载 Prompt packs 以组合复杂任务（如内容审核），并兼容本地部署与 hosted API。事实层面确认了其架构优势与性能提升；推断层面表明在需要高频批量决策的场景中，该方案可能显著降低算力消耗；猜测层面需验证其在非 NVIDIA 硬件或更大上下文窗口下的实际表现是否仍保持 bit-identical 特性。