腾讯混元AI Infra核心技术开源

界面新闻| 2026-02-04 22:23:54

K图 00700_0

  2月4日,腾讯混元AI Infra团队正式推出开源生产级高性能LLM推理核心算子库HPC-Ops。腾讯混元称,在真实场景下,基于HPC-Ops,混元模型推理QPM提升30%,DeepSeek模型QPM提升17%。同时,在单算子性能方面,HPC-Ops实现Attention相比FlashInfer/FlashAttention最高提升2.22倍;GroupGEMM相比DeepGEMM最高提升1.88倍;FusedMoE相比TensorRT-LLM最高提升1.49倍。

该文观点仅代表作者本人,系信息发布平台,仅提供信息存储空间服务。

手机版 | 电脑版

© CopyRight 2022 tthmx.com All Right Reserved.

未经授权,请勿转载或建立镜像,违者依法必究

浙ICP备09070488号-8