百度入选ICML、IJCAI、ISIT等机器学习顶会的论文都在关注什么？( 七 ) 2021年

文章图片

文章图片
2）提出了一个基于遍历搜索的估计方法，并证明只要满足上述的最低要求，就可以得到正确的信息（在某些情况下）。
3）提出了一个实用的算法，并证明了在某些情况下我们的算法在第一步就能得到正确的信息。鉴于遍历搜索的算法有很大的时间复杂度，我们提出了一个相继更新支撑集和排列矩阵的迭代算法。
这方面的研究在数据库和数据隐私方面拥有非常广泛的应用。百度在该领域已经积累了不少世界领先的成果，包括：lIEEE Trans Information Theory 2021, The Benefits of Diversity: Permutation Recovery in Unlabeled Sensing from Multiple Measurement VectorslICML 2020, Optimal Estimator for Unlabeled Linear RegressionlJMLR 2020, Two-stage approach to multivariate linear regression with sparsely mismatched datalISIT 2019, Permutation recovery from multiple measurement vectors in unlabeled sensinglUAI 2019, A sparse representation-based approach to linear regression with partially shuffled labels
17.针对一类带正则项的优化问题的基于矩阵缩略的快速优化算法
FROS: Fast Regularized Optimization by Sketching
本文提出了一种用矩阵缩略（sketching）的方式加速优化的通用方法。矩阵缩略是随机优化领域的重要方法，其主旨是通过矩阵缩略将原优化问题的数据矩阵进行压缩，从而得到一个较小规模的新优化问题。通过解小规模的新问题，矩阵缩略方法可以得到原优化问题的近似解。随机优化领域里已经充分研究了在凸优化问题上矩阵缩略的结果。然而，目前的方法局限在凸优化上，对于目标函数里有非凸正则项的情况，矩阵缩略的效果仍然是一个公开性问题。本文提出了针对非凸正则项的矩阵缩略方法，在理论上证明了矩阵缩略对于带非凸正则项的优化问题仍然可以有效地近似原问题的解。基于这个理论结果，本文进一步提出了一种迭代式的优化方法，在每一步迭代中都用矩阵缩略方法来逼近原问题的解。通过迭代使用矩阵缩略 (图(a))，近似解可以以几何级数逼近原问题的解(图(b))。

文章图片

文章图片
Sketching和数据压缩是一个学术界和工业界都非常热门的课题，百度的研究员，从2005年（加入百度前）就开始从事这方面的研究，曾获得KDD和NIPS的最佳论文奖，和CommunicationsoftheACM的受邀曝光论文。近年来，百度在这方面的论文包括：lAAAI 2019, Sign-Full Random ProjectionlNeurIPS 2019, Random Projections with Asymmetric QuantizationlNeurIPS 2019, Generalization Error Analysis of Quantized Compressive LearninglNeurIPS 2019, Re-randomized Densification for One Permutation Hashing and Bin-wise Consistent Weighted SamplinglIEEE Trans Information Theory 2018, On the Trade-Off Between Bit Depth and Number of Samples for a Basic Approach to Structured Signal Recovery From b-Bit Quantized Linear MeasurementslKDD 2018, R2SDH: Robust Rotated Supervised Discrete HashinglNIPS 2017, Simple strategies for recovering inner products from coarsely quantized random projectionslWWW 2017, Theory of the GMM Kernel
18.使用两个时间尺度的随机 EM 算法
Two-Timescale Stochastic EM Algorithms
期望最大化 (EM) 算法是学习潜变量模型的流行方法。在本文中，我们基于随机更新的两阶段方法提出了一类称为双时间尺度EM方法的通用算法，来解决潜变量模型中很困难的非凸优化任务。我们通过在两个噪声源上调用该方法每个阶段的方差减少优点来激发双动态的选择，增量更新的索引采样和MC近似。我们为非凸目标函数建立有限时间和全局收敛边界。文中还介绍了在各种模型上的数值应用，例如用于图像分析的可变形模板或高斯混合模型，来说明我们的发现。