跳到正文
原文
InfoQ 中文· 褚杏娟·· 2 小时前AI 评分75

天数智芯发布天垓 300 实测数据:部分场景达 H200 水平并展示端侧 TY1200

天数智芯公布天垓300实测数据:部分推理场景达到H200水平,端侧对标Thor T5000

AI 摘要

天数智芯于 10 月 28 日开放天垓 300 通用 GPU 实机演示,第三方测试显示在典型 PD 分离部署下其单卡端到端吞吐达到 NVIDIA H200 的 1.05 倍,内部测试表明在 GLM-5.3 模型 64K 上下文场景中 MoE 吞吐达 H200 的 1.15 倍。同时展示的彤央 TY1200 端侧终端在指定大模型测试中性能达到 NVIDIA Thor T5000 的 1.2 倍,并预告下一代 TY2000 标称算力将达 600T。

材料揭示了具体的工程实现细节与成本结构变化:天垓 300 采用 AFD 分离方案,由天垓负责 Prefill 全流程及 Decode 阶段 Attention 计算,合作厂商 XPU 负责 FFN 专家网络,该异构部署使 Decode 推理延迟降低 60%;IXL144 超节点集成 144 颗 GPU,测算每百万有效 Token 成本较国际主流方案降低约 40%,但公开材料未完整披露对标方案及核算条件。此外,软件栈引入 Agent 参与调优,将某大模型适配工作周期从 7 天缩短至 2 小时,编译速度提升 90% 以上。

事实层面,上述性能数据均基于特定测试条件(如 64K 上下文、FP8 精度、特定模型版本),不代表所有任务表现;推断层面,国产芯片正通过异构架构与软件栈优化试图在单位经济上缩小与国际巨头的差距;猜测层面,TY2000 的具体上市时间与价格尚未公布,且端侧设备在视频生成等场景的实际功耗与运维成本仍需市场验证。

来源:InfoQ 中文 · infoq.cn