小米OmniVoice震撼发布：语音克隆技术覆盖数百语种，性能超越商用系统！
创始人
2026-05-07 18:33:42
0次
5月7日，小米AI实验室新一代Kaldi团队宣布推出OmniVoice，一款覆盖数百语种的语音克隆TTS模型。该模型在中英文场景中达到顶尖性能，并在多语言任务中展现出超越商用系统的实力。OmniVoice以其极简的模型架构为特点，仅用一个双向Transformer网络实现文本到语音的转化，省去了多余的结构和环节，是目前最简单的非自回归TTS模型。
OmniVoice在训练和推理速度上具有显著优势，一天内可完成10万小时的训练，并在PyTorch推理中达到40倍实时速度，适配各类应用场景。其背后的两项关键设计包括全码本随机掩蔽策略，提升训练效率和模型能力；以及引入大语言模型作为预训练参数，有效利用大语言模型，提升语音合成的可懂度，解决“读不准”的问题。
在多语言测试中，OmniVoice即使仅基于开源数据训练，也能在24语种测试中超越多款商用系统，在102种语种测试中逼近甚至优于真实语音的可懂度。对于训练数据不足10小时的小语种，OmniVoice同样能实现高质量的语音合成，降低低资源语种的语音合成门槛。此外，该模型还具备自定义音色设计、带噪参考音频适配、丰富语气表达和发音精准纠正等多项实用功能。
相关内容
热门资讯
鸿蒙智行V9试驾车全国发运，赵...
智界汽车执行董事及执行副总裁近日宣布，鸿蒙智行旗舰MPV智界V9的试驾车正在运往各地。每台智界V9都...
“南超”四分之一决赛首回合，东...
2026年图南杯广州南沙城市足球联赛淘汰赛13日展开四分之一决赛首回合较量，八支球队在四场对决中打出...
人这一辈子，一定要三顾南阳！
“五一”假期“南阳月季”“出圈”走红登上全国热榜图为南阳月季。谷雨 摄 “去南阳看月季”让这座“三...
“对话比对抗好”——美国各界期...
应国家主席习近平邀请，美国总统特朗普将于5月13日至15日对中国进行国事访问。这是中美两国元首继去年...
广西梧州交警通报公交车坠翻事故...
5月13日，广西梧州市公安局交通管理支队发布警情通报：2026年5月11日14时44分，我市万秀区西...
内蒙古一老板招人放3000只羊...
近日，内蒙古锡林浩特一食品公司老板公开招人：工作地点位于内蒙古牧区，牧场面积三万多亩，管近3000只...
广式糖水、大良鱼灯……花城青年...
文/羊城晚报全媒体记者 卢佳圳图/主办方供图初夏羊城，艺韵流芳。5月12日，2026花城青年艺术季—...
“绿色蒸汽”成招商硬通货！广州...
文/羊城晚报全媒体记者 孙牧 梁怿韬资源热力电厂不仅能快速处理生活垃圾，还能产生电能和蒸汽热能。在广...
外交部：世界上一切爱好和平的国...
新华社北京5月13日电（记者董雪、孙楠）就有媒体评论称日本修改宪法第九条将撼动其“和平国家”的自我认...
亿缕阳光｜万物有灵皆暖心
微光成炬，温柔相护。