小米OmniVoice震撼发布：语音克隆技术覆盖数百语种，性能超越商用系统！
创始人
2026-05-07 18:33:42
0次
5月7日，小米AI实验室新一代Kaldi团队宣布推出OmniVoice，一款覆盖数百语种的语音克隆TTS模型。该模型在中英文场景中达到顶尖性能，并在多语言任务中展现出超越商用系统的实力。OmniVoice以其极简的模型架构为特点，仅用一个双向Transformer网络实现文本到语音的转化，省去了多余的结构和环节，是目前最简单的非自回归TTS模型。
OmniVoice在训练和推理速度上具有显著优势，一天内可完成10万小时的训练，并在PyTorch推理中达到40倍实时速度，适配各类应用场景。其背后的两项关键设计包括全码本随机掩蔽策略，提升训练效率和模型能力；以及引入大语言模型作为预训练参数，有效利用大语言模型，提升语音合成的可懂度，解决“读不准”的问题。
在多语言测试中，OmniVoice即使仅基于开源数据训练，也能在24语种测试中超越多款商用系统，在102种语种测试中逼近甚至优于真实语音的可懂度。对于训练数据不足10小时的小语种，OmniVoice同样能实现高质量的语音合成，降低低资源语种的语音合成门槛。此外，该模型还具备自定义音色设计、带噪参考音频适配、丰富语气表达和发音精准纠正等多项实用功能。
相关内容
热门资讯
已致6死 德国北部枪击事件可能...
德国警方29日说，德国北部施塔德当天发生的枪击事件已造成6人死亡。据称，该事件可能与家庭矛盾有关。警...
强对流天气蓝色预警：陕西山西等...
央视网消息：中央气象台6月30日06时继续发布强对流天气蓝色预警，预计6月30日08时至7月1日08...
防癌医疗险能“补缺” 保障责任...
在人口老龄化加速、癌症发病率攀升的背景下，防癌医疗险备受关注。近年来，广州推出的商业健康保险产品持续...
广州对“偷面积”开出首张公开罚...
文、图、视频/羊城晚报全媒体记者 江皓轩广州市荔湾区城管执法局近日对力诚榕诚湾项目开出首张“偷面积”...
新华社访谈｜在新疆，播种“梦的...
新疆巴音郭楞蒙古自治州，3000亩棉田边，艾海鹏和凌磊用手机屏幕操控着远处的无人机。飞机从棉田上方掠...
上海一高校老师发表为什么导师喜...
连日来，一篇名为《为什么导师喜欢娶自己的博士》的论文截图在网上流传开来，引发热议，第一作者署名为单福...
习近平会见白俄罗斯总统卢卡申科
6月29日上午，国家主席习近平在北京钓鱼台国宾馆会见白俄罗斯总统卢卡申科。新华社记者 申宏 摄新华社...
扛着冰箱陪“公主”参赛，省运会...
第十七届广东省运会群众赛事活动桨板比赛，这个周末在清远阳山连江河段开桨。江面百板竞发，两岸人声鼎沸。...
“AI+机器人”把关高危工作，...
文/羊城晚报全媒体记者 梁怿韬 通讯员 成广聚 陈梓佳图/通讯员提供市民丢弃的生活垃圾，最终将运至终...
师生专享多重优惠！广州从化集结...
考完试，赴一场夏日清凉之旅！为回馈2026届全国中高考毕业生、在从高校学子以及全体人民教师，广州从化...