跳到正文
原文
arXiv cs.CR· Souvik Das, Ariful Azad, Nitesh Saxena·· 5 小时前AI 评分58

论文通过62个系统图谱分析指出私有Transformer推理扩展已停滞于13B参数

A Graph-Based Analysis of Comparability, Scale, and Attribution in Private Transformer Inference

AI 摘要

该研究构建包含62个私有Transformer推理(PTI)系统的实证图谱,旨在解决因密码学进展维度多元与评估标准不一致导致的研究结论难以综合的问题。分析显示,尽管密码学进步推动了性能提升,但始终与模型保真度、硬件及成本核算等其他因素共存;在1891个候选系统对中,仅有一对在共享假设下具备直接可比性。

核心发现在于扩展前沿已停滞:当前PTI技术的可扩展性上限被锁定在13B参数规模,无法有效覆盖生产级大模型。同时,基于现有技术的部署成本推算表明,将其应用于大规模Transformer在经济上不可行。这一结论并非基于单一案例,而是源于对系统属性节点特征与评估兼容性边的系统性审计。

事实层面确认了PTI领域存在严重的评估碎片化与扩展瓶颈;推断层面认为这迫使行业从单纯追求算法加速转向重新设计单位经济模型或等待新的架构突破;猜测层面则涉及未来若需支持更大规模模型,可能需要完全不同于当前加密路径的技术路线。材料未提及具体公司采用情况,仅聚焦于技术可行性与成本结构的客观限制。

来源:arXiv cs.CR · arxiv.org