Reddit · MachineLearning· /u/2dayyy6·· 4 小时前AI 评分42
Huginn 循环 Transformer 在 B200 上节省 HBM 流量吗?
Do looped transformers save HBM traffic? Profiling weight reuse in Huginn on a B200 [P]
AI 摘要
Huginn 循环架构在 B200 GPU 上测试显示,8 次矩阵乘法共享 72 MiB 权重时比复制版本快 24% 且几乎不读取 HBM。当权重达 288 MiB 超过 L2 缓存后性能差异消失,完整 Huginn Core 八次迭代耗时与数据读取量均约为单次的一倍。研究证实共享权重虽节省存储,但无法阻止 GPU 每次迭代从 HBM 重新读取权重。
来源:Reddit · MachineLearning · reddit.com