百度入选ICML、IJCAI、ISIT等机器学习顶会的论文都在关注什么？( 二 ) 2021年

在本篇论文中应用了国际上前沿的统计学习理论专家们在近两年开发的iterative bootstrap技术，在高维additive model这一经典且被广泛应用的非参统计回归模型中，从理论上以及实践中解决了上述问题。相比于已有的方法，我们的估计模型不仅可以有效的降低高维度带来的误差，并且被证明是很多经典问题上的最优解。此类前瞻性的工作在随着业界对用户数据隐私越来越重视，而产生深刻且有意义的影响。
3.潜变量模型的参数估计方法
On Estimation in Latent Variable Models
论文链接：http://proceedings.mlr.press/v139/fang21a/fang21a.pdf
潜变量模型是对不可观测变量进行数学建模。它在经济学、心理学、统计学和机器学习中扮演了重要的角色。由于潜变量的存在，人们通常不能直接对似然函数最大化来球的最优的参数估计而却需要通过繁琐的积分来去掉潜变量的影响，从而导致计算复杂度的提升。
本文提出了一个基于方差减小化的随机梯度下降方法的参数估计算法来加速潜变量模型参数估计的过程。该方法不需要求解精确的后验分布，加快了迭代过程，可以让估计值更快的进入收敛区域。在不同的统计结构假设下，文章给出了算法收敛性的证明，复杂度上界以及估计值的渐近性质。当样本量充分大时，实验结果表明该方法可以比经典的梯度下降法有着更快的收敛速度。

文章图片

文章图片
4.基于双聚类模型的贝叶斯变分推断理论
On Variational Inference in Biclustering Models
论文链接：http://proceedings.mlr.press/v139/fang21b/fang21b.pdf
双聚类模型是对数据矩阵同时进行行聚类和列聚类的一种统计学习方法。它在基因表征分类，用用户行为分析，局部特征学习中起着重要的作用。目前双聚类算法大多基于数据出发，例如谱算法，双重k-means算法，贝叶斯抽样算法等，而双聚类算法的理论性质却没有得到充分的研究。
近来贝叶斯变分推断已经成为了一个热门的机器学习计算方法，其对具有隐变量结构的复杂模型参数估计方法有着特殊的优势。它利用选取合理的近似后验分布来节省计算的复杂度。在这个变分推断的框架下，我们给出了双聚类模型参数估计值的一系列全新的理论，包括变分估计的上界和下界，分类的强弱收敛性，变分梯度下降法的局部收敛和全局收敛的性质等。这些新的理论给机器学习领域带来了对贝叶斯变分推断和双聚类模型的交叉领域更深的理解。
5.融合声音和文本编码的跨模态多语言预训练和语音翻译模型

文章图片

文章图片
Fused Acoustic and Text Encoding for Multimodal Bilingual Pretraining and Speech Translation
论文链接：http://proceedings.mlr.press/v139/zheng21a/zheng21a.pdf
近来，文本和语音表示学习成功大幅提升了许多与语言与语音相关的任务。但是，现有方法只能从文本或语音的一种输入模态的数据中学习，而许多常见的跨模态的任务，例如语音翻译，则需要统一的声音和文本表示。
为解决这个问题，我们提出了一种融合语音和文本的语言模型Fused Acoustic and Text Masked Language Model（FAT-MLM），该模型可以学习统一的语音和文本表示。在这种跨模态表示学习框架下，我们进一步提出了融合语音和文本的端到端语音翻译模型FAT-ST 。在三个翻译方向上进行的实验表明，我们在FAT-MLM预训练基础上的语音翻译模型可以显着提高翻译质量（+5.90 BLEU）。