GPT-2 KV cache from scratch: correctness, latency, and memory measurements

作者从零实现了 PyTorch 中的 GPT-2 small (124M) 模型与 KV cache，验证了数学节省与实际延迟、内存的对应关系。在 NVIDIA A40 上测试显示，上下文长度 1,000 时缓存使每 token 时间从 29.69 ms 降至 4.95 ms（约 6 倍），生成 1,016 tokens 耗时缩短至 5.03 s（约 2.9 倍）。