网易云信神经网络音频降噪算法：提升瞬态噪声抑制效果，适合移动端设备( 五 ) 机器之心专栏网易云信音频实

文章图片

文章图片
在不同噪声类型上的表现。在 Keyboard 噪声中，虽然在低 SNR 的情况下降噪量提升不明显（RTC 场景中，持续低信噪比的 Transient Noise 场景出现频率较低），但是在 10dB SNR 以上的场景中，降噪量和其他噪声接近，并且保持着很好的语音质量。该研究也定性的测试其他的 Transient Noise ，降噪量和语音质量都保持在很稳定的水平。

文章图片

文章图片

文章图片

文章图片
网易云信的 AI 降噪在 10ms 的音频帧数据（16kHz 采样率）中只需要约 400,000 次浮点计算，经过云信自研的 AI 推理框架 NENN 加速，在 iPhone12 上每 10ms 的运算平均时间低于 0.01ms ，峰值时间低于 0.02ms ， CPU 占比小于 0.02% 。
总结
综上所述，网易云信 AI 降噪实现了一个轻量级的实时神经网络音频降噪算法。它在 Stationary 和 Non-Stationary Noise 上都有很好的效果，对于业界的难点 Transient Noise 也有很好的抑制效果；与此同时，相较同类 AI 降噪算法，云信 AI 降噪对语音质量有着更好的保护。
自成立以来，网易云信音频实验室除了保障产品的算法研发和优化需求之外，已提交专利数十项。接下来，网易云信音频实验室将在基础算法、模型方面加强研究，结合具体行业和应用场景，以技术创新引领产品创新。
参考文献
1.J.M. Valin, "A hybrid DSP/deep learning approach to real-time full-band speech enhancement," 2018 IEEE 20th International Workshop on Multimedia Signal Processing (MMSP). IEEE, 2018.
2.Y. Xia, et al, "Weighted Speech Distortion Losses for Neural-Network-Based Real-Time Speech Enhancement," ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2020.
3.Westhausen, Nils L., and Bernd T. Meyer. "Dual-signal transformation lstm network for real-time noise suppression." arXiv preprint arXiv:2005.07551 (2020).
4.Y. Rao, Y. Hao, I.M. Panahi, "Smartphone-based real-time speech enhancement for improving hearing aids speech perception," 2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). IEEE, 2016.
5.C. H. Taal, R. C. Hendriks, R. Heusdens, and J. Jensen, “A short-time objective intelligibility measure for time-frequency weighted noisy speech,” in IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 4214– 4217, 2010.
6.Nilsson, Michael, Sigfrid D. Soli, and Jean A. Sullivan. "Development of the Hearing in Noise Test for the measurement of speech reception thresholds in quiet and in noise." The Journal of the Acoustical Society of America 95.2 (1994): 1085-1099.
【网易云信神经网络音频降噪算法：提升瞬态噪声抑制效果，适合移动端设备】来源：机器之心Pro