文章图片

文章图片
的增加会导致计算量的增加 ， 最终收益最大的

文章图片

文章图片
值为 3 。
学习模型以及实时处理
该研究沿用了 [1] 中 RNN-GRU 模型 ， 原因是 RNN 相比其他学习模型（例如 CNN）携带时间信息 ， 可以学习到数据中前后在时序上的联系 。该研究认为这种联系在语音信号上非常重要 ， 特别是在一个实时的、帧长相对较短的语音算法中 。模型的结构如 Fig.1 所示 。训练后的模型会被嵌入网易云信的 SDK 中 ， 通过读取硬件设备的音频流 ， 对 Buffer 进行分帧处理并送入 AI 降噪预处理模块中 ， 预处理模块会将对应的 Feature 计算出来 ， 并输出到训练好的模型中 ， 通过模型计算出对应的 Gain 值 ， 对信号进行调整 ， 最终达到降噪效果（Fig.2） 。
Figure 1: GRU模型 。

文章图片

文章图片
Figure 2: 训练和实时处理框图 。

文章图片

文章图片
测量结果和讨论
在测试阶段 ， 该研究首先建立了和 Training/Validation 完全不同的一个测试集 。在对比项上 ， 选择了 [4] 作为传统信号处理的降噪算法代表 。在基于深度学习的算法中 ， 研究者首先选择了 RNNoise[1] ， 以此来评估优化所带来的效果提升 。其次 ， 该研究选择了 DNS-Net[2]和 DTLN[3]当下两个热度很高的实时 AI 降噪算法来作为对比项 。

文章图片

文章图片
(a)Noisy signal (5dB SNR)

文章图片

文章图片

文章图片

文章图片
Fig.3 展示了一段 Keyboard Noise 下的降噪前后对比 。Keyboard Noise 作为 Transient Noise 中的一种 ， 是在 RTC 场景中非常容易遇到的噪声 。比如在一个在线会议中 ， 会议中的任意一位参会者在用键盘记录会议信息时 ， 都会让这个会议陷入键盘噪声中 。Fig.3 展示的是在 5dB SNR 场景下的情况 。从图中可以看出 ， 网易云信 AI 降噪在非语音部分 ， 对键盘噪声的压制极大 ， 基本全部消掉；在和语音重合部分 ， 虽然没有完全消掉 ， 但是也有明显抑制 ， 并且保护了语音质量 。
在 RTC 场景中 ， 当降噪后 SNR 达到 20dB 以上 ， 3-4dB 的差值对于听感来说差异较小 。所以该研究在调试中把降噪量稳定在一个范围内 ， 然后尽量去追求更高的语音理解度（STOI[5]）和语音质量（MOS[6]） 。Table 1 展示了云信 AI 降噪和对比项之间的量化对比 。从结果中可以看出 ， 网易云信自研的 Feature 和 Loss Function 在整体上呈现对语音保护更好 ， 降噪量略小 。其中 ，

文章图片

文章图片
对语音质量保护最好 ， 在降噪量上也在可接受的范围内 。Table 2 展示了

• 云泰光学仪器产值增长100％
• 爱立信起诉苹果公司5g专利费用纠纷电信企业再次起诉
• 线上新书发布！云上带你了解有关“冬奥”的那些事儿
• 云图计划预约奖励有哪些（云图计划预约奖励介绍）
• 少前云图计划新手适合什么卡池（少前云图计划新手抽卡指南）
• 九部门：严打平台企业超范围收集个人信息行为
• 云顶之弈龙族运营丧尸95阵容搭什么好（云顶之弈龙族运营丧尸95阵容搭配心得一览）
• 少女前线云图计划兑换码有哪些（少女前线云图计划最新礼包兑换码分享）
• 少前云图计划各职业有哪些角色值得培养（少前云图计划值得培养角色推荐）
• “集五福”玩出新高度，云宠宝的这波黑科技营销，直接天花板了！