Taco 通过整数推理解决跨平台 LLM 压缩在 GPU 或 CPU 切换时概率不一致的问题

该工具 Taco 解决了大语言模型压缩器在不同硬件后端（如 Mac CPU/Metal、Linux CPU/CUDA、Windows CPU/CUDA/Vulkan）上解码时因浮点数精度差异导致概率计算不一致的核心问题。作者通过一个包含 7 个后端的哈希验证证明，其方案能确保编码器与解码器输出完全相同的概率分布。

实现细节上，Taco 采用纯整数推理架构，使用 int8 权重、固定舍入策略和查找表，并配合一个精确的 float32 到整数的转换器（基于尾数乘以 2 的指数次幂）。这种设计避免了传统浮点运算在不同芯片架构下的微小误差累积，从而消除了跨平台兼容性风险。

事实层面，该方案已提交至 GitHub 并在 Reddit 社区发布，验证了其在多后端环境下的确定性。推断来看，这为需要严格一致性要求的边缘计算或混合云部署提供了新的工程路径，特别是针对依赖量化技术的场景。猜测部分在于该方案是否会在性能开销上带来显著代价，但原文未提供具体基准数据，因此无法确认其对推理速度的实际影响。