华为联手湖北移动实现AI推理加速新突破，长序列处理效率最高提升372%
创始人
2026-06-26 07:34:07
0次
6月24日，在2026MWC上海展期间，华为与湖北移动联合宣布，双方已完成全国运营商首个AI推理加速解决方案现网测试。该测试基于华为OceanStorA800存储与昇腾A3超节点架构，搭载UCM推理记忆数据管理技术，在长序列AI推理场景下，实现了Token吞吐率最高提升372%的突破性成果。
测试在湖北移动现网环境中部署vLLM-Ascend框架，针对MiniMaxM2.5、GLM-5.1等主流大模型，模拟了8K至190K长序列输入场景。结果显示，在MiniMaxM2.5模型场景下，启用UCM后，首Token延迟优化26%~62%，单NPU卡Token输出效率提升58%~78%。在GLM-5.1模型场景下，首Token延迟优化幅度达51%~93%，TPS提升56%~372%。华为表示，测试表明，随着上下文长度增加，AI推理加速方案优势持续放大，有效解决了长序列推理中的KVCache容量瓶颈。
相关内容
热门资讯
2万亿估值！Anthropic...
8月13日，《财富》杂志报道称，人工智能公司Anthropic计划于2026年10月进行IPO上市，...
文远知行上半年营收增73%，全...
8月14日，自动驾驶科技公司文远知行WeRide发布了2026年第二季度及上半年的财报。上半年公司总...
OpenAI月增20%营收，2...
8月14日，彭博社报道指出，OpenAI在IPO上市前展现出强劲的发展势头。预计到2026年，公司年...
省运会皮划艇静水项目将举办至1...
本次赛事全程对外免费开放，目前已决出8枚金牌羊城晚报讯 记者张小悦、刘畅、梁喻报道：8月10日上午，...
从渔业大市到渔业强市，阳江如何...
文/戴灵敏 陈文婷南海之滨，潮涌不息。阳江，这座拥有504公里海岸线、1.19万平方公里海域的“中国...
前7个月广东外贸进出口6.49...
羊城晚报讯 记者汪海晏，通讯员陈琳、吕美锦报道：据海关总署广东分署统计，今年前7个月，广东外贸进出口...
全球最大陆路口岸单体建筑即将收...
文、图/羊城晚报全媒体记者 张璐瑶 通讯员 黄俊生视频/羊城晚报全媒体记者 张璐瑶全球最大陆路口岸单...
一朵扭扭花，开出46个残障家庭...
文/羊城晚报全媒体记者 黎秋玲 杨进怡 实习生 兰心蕙图/羊城晚报全媒体记者 杨进怡（除署名外）一根...
一祠一晚一非遗，读懂广州增城公...
乡村振兴，既要塑形，更要铸魂。近日，广东省“十四五”公共文化服务案例名单公布，广州增城区三项实践成功...
像爸爸一样 我从风中来
陈婧雯，她不到1岁半时没了爸爸。18年后，她做了个决定——穿上军装。王贵武，他68岁，替17位烈士喊...