科大讯飞:联合华为实现国产算力大规模跨节点专家并行集群推理

界面新闻| 2025-03-11 19:53:35

K图 002230_0

  3月11日,科大讯飞发布消息称,科大讯飞联合华为近日率先实现国产算力大规模跨节点专家并行集群推理。据其介绍,通过分布式架构创新与算法协同优化,单卡静态内存占用缩减至双机部署的1/4,效率提升75%,专家计算密度增加4倍,推理吞吐提升3.2倍,端到端时延降低50%。这一解决方案也将应用于讯飞星火深度推理模型的训练加速,预期训练时推理效率将提升200%。

该文观点仅代表作者本人,系信息发布平台,仅提供信息存储空间服务。

手机版 | 电脑版

© CopyRight 2022 tthmx.com All Right Reserved.

未经授权,请勿转载或建立镜像,违者依法必究

浙ICP备09070488号-8