华为联手湖北移动实现AI推理加速新突破，长序列处理效率最高提升372%
创始人
2026-06-26 07:34:07
0次
6月24日，在2026MWC上海展期间，华为与湖北移动联合宣布，双方已完成全国运营商首个AI推理加速解决方案现网测试。该测试基于华为OceanStorA800存储与昇腾A3超节点架构，搭载UCM推理记忆数据管理技术，在长序列AI推理场景下，实现了Token吞吐率最高提升372%的突破性成果。
测试在湖北移动现网环境中部署vLLM-Ascend框架，针对MiniMaxM2.5、GLM-5.1等主流大模型，模拟了8K至190K长序列输入场景。结果显示，在MiniMaxM2.5模型场景下，启用UCM后，首Token延迟优化26%~62%，单NPU卡Token输出效率提升58%~78%。在GLM-5.1模型场景下，首Token延迟优化幅度达51%~93%，TPS提升56%~372%。华为表示，测试表明，随着上下文长度增加，AI推理加速方案优势持续放大，有效解决了长序列推理中的KVCache容量瓶颈。
相关内容
热门资讯
美国政府要求OpenAI限发G...
今日，美国政府出于对潜在安全问题的担忧，要求OpenAI分批发布其GPT-5.6大模型。OpenAI...
NotionMail宣布202...
6月26日，科技媒体9to5Mac报道，Notion宣布将于2026年9月22日停止运营Notion...
“7月1日起，新能源车安全新国...
7月1日起，两项新的强制性国家标准《电动汽车安全要求》和《电动汽车用动力蓄电池安全要求》将正式实施，...
华为联手湖北移动实现AI推理加...
6月24日，在2026MWC上海展期间，华为与湖北移动联合宣布，双方已完成全国运营商首个AI推理加速...
总投资219亿元，广州集中发布...
文、图 、视频/羊城晚报全媒体记者 陈玉霞6月25日，广州市2026年第二季度城市更新项目资源对接会...
第十六个“世界海员日”，湛江、...
文/羊城晚报全媒体记者 张璐瑶 通讯员 谢晓琳 符艳图/通讯员供图今年6月25日是第十六个“世界海员...
广州从化这位果农家的荔枝挂满枝...
受天气情况等方面因素影响，今年广东不少产区成花少，坐果率低，产量下降。然而，在广州市从化区温泉镇石海...
尊界S800典藏版上市，138...
6月25日，尊界S800 Grand Design典藏大观正式上市，统一售价138.8万元，预计8月...
宝马i3、i4车主注意：启动提...
近日，多名宝马i3、i4车型新车车主反映，在启动车辆时收到“您可以继续驾驶，请更换蓄电池”的车机提醒...
从“被执法”到“自己管”，广州...
文/羊城晚报全媒体记者 梁怿韬 通讯员 成广聚 徐志恒图/通讯员提供“以前是等着执法人员来查，现在我...