Reddit · MachineLearning· /u/Code_MasterCody·2026-10-30 01:53· 4 小时前AI 评分42

TKintegers K5 在 NVIDIA L4 上实现 3.21×预填充与 3.10×解码吞吐量超越 TorchAO FP8

TKintegers K5: 3.21× prefill and 3.10× decode throughput vs TorchAO FP8 on NVIDIA L4 [R] [P]

AI 摘要

TKintegers K5 在 NVIDIA L4 上以平衡三进制权重表示，实现了比 TorchAO FP8 基线快 3.21 倍的预填充和 3.10 倍的解码吞吐量。