Meta发布支持128种语言的新语音模型:指向元宇宙跨语种交流( 二 )
文章图片
文章图片
XLS-R共有20亿参数 , 它在测试的37种语言中 , 表现优于大多数语种先前的工作 。甚至在老挝语等小语种识别上 , 也能低于之前的错误率 。
文章图片
文章图片
此外XLS-R也让低资源语言与英语之间的翻译大幅改进 , 例如从印度尼西亚语到英语的翻译 , 其中BLEU(双语互译质量评估)的准确性平均翻了一番 。
CoVoST-2语音翻译基准测试中 , XLS-R在21个英语翻译方向上比之前技术平均提高了7.4 BLEU 。
从下图中可以看出 , XLS-R对低资源语种的提升尤为明显 。
文章图片
文章图片
微调XLS-R
XLS-R只是一个预训练模型 , 为了能更好地服务于具体任务 , 还需要对模型进行微调 。
Hugging Face官方提供了详细的微调教程 。
文章图片
文章图片
此外官方还提供不同参数规模的语音识别模型 , 以及15种语言与英语之间的互译模型 , 供用户下载 。
传送门
官方博客:
https://ai.facebook.com/blog/xls-r-self-supervised-speech-processing-for-128-languages/
GitHub页:
https://github.com/pytorch/fairseq/tree/main/examples/wav2vec/xlsr
论文地址:
https://arxiv.org/abs/2111.09296v1
试用网页地址:
https://huggingface.co/spaces/facebook/XLS-R-2B-22-16
微调方法简介:
https://huggingface.co/blog/fine-tune-xlsr-wav2vec2
— 完 —
量子位 QbitAI · 头条号签约
来源:量子位
- 线上新书发布!云上带你了解有关“冬奥”的那些事儿
- 高德联合清华发布报告:北京绿色出行意愿全国第一
- 小米11tpro印度首销:支持120w超级闪充
- 2021年度中国互联网辟谣优秀作品即将发布
- TGA创始人|TGA创始人发布EA、育碧等游戏公司市值(微软可以尝试收购一下())
- 2021年度网友留言250个高频词!网上民声重磅发布
- 苹果iphonese或提前到2023年发布
- 威刚发布ISSS13AP 4TB工业级2.5英寸SATA SSD
- 云创智采 发布“智慧采购管理平台2.0”产品
- Therabody发布Theragun mini 新年限量红色版