【腾讯混元AI Infra核心技术开源:推理吞吐提升30%】
在真实场景下,基于HPC-Ops,混元模型推理 QPM 提升30%,DeepSeek模型 QPM 提升17%。同时,在单算子性能方面,HPC-Ops实现Attention相比 FlashInfer/FlashAttention 最高提升2.22倍。
来源:东方财富
财经通是一个免费的中文多源财经快讯聚合站,7×24 小时把财联社、华尔街见闻、新浪财经等 12 家主流财经媒体的快讯汇集到同一条时间轴,按时间排好、去掉重复,覆盖宏观经济与央行政策、 A股、港股、美股、债券、外汇、大宗商品和加密货币。
在真实场景下,基于HPC-Ops,混元模型推理 QPM 提升30%,DeepSeek模型 QPM 提升17%。同时,在单算子性能方面,HPC-Ops实现Attention相比 FlashInfer/FlashAttention 最高提升2.22倍。
来源:东方财富