Nature评论：机器学习的物理启示录——隔壁的另一条机遇之道老话说：隔行不取利。但时过

文章图片

文章图片
老话说：隔行不取利。但时过境迁，目前不管是娱乐圈还是学术界，跨界方可大红大紫。在娱乐圈，相声演员客串脱口秀，歌手跨界演员，赚的钵满盆满。而在学术界，如果我们的眼界仅仅局限于自己的专业领域，那么很可能错过一些难得的火花。在本文中，作者详细介绍了物理学——这个古老、严谨、充斥着各种智商怪物争相斗法的传统学术方向，是如何与机器学习和深度学习擦出智慧的火花的。
作者 | Don
编辑 | 青暮
神经网络，对于这个熟悉的名词，我们一听之下便知它深受生物学的影响，尤其是脑神经科学。虽然神经网络的灵感最初源于生物学，但是随着人们研究的深入，生物学这个母体学科中可用资源日渐枯竭。但是与生物一墙之隔的物理学还是处于一片蓝海，这片科研的处女地中的很多经验和研究方法论有望帮助神经网络的研究变得更加优秀，找到更多的真理。因此，近些年不少工作开始琢磨如何在机器学习和物理学之间建立更强的纽带，设计出更加强大的计算方法。
自诞生之初，机器学习和物理学便有着十分紧密的关联。早在1982年， John Hopfield就进行了第一步尝试，他在神经网络和物理学之间建立了第一座互通有无桥梁。Hopfield发现，在物理学中，一个由相互作用的粒子组成的粒子群物理系统中，粒子间通常会产生一些形似磁性力的作用现象。
Hopfield于是将这种相互作用的现象借鉴到了神经网络模型的设计当中，尤其是网络中的那些具有自发计算特性的神经元结构。因此， Hopfield发明出了“Hopfield network” ，而它则是递归神经网络（RNN）的前身。
时至今日， RNN的广泛应用无需赘述，它大量的应用在时序分析、自然语言处理等领域。只要数据之间具有时间依赖性、时序动态特征，那么RNN就是一个十分优秀的备选方案。
换个角度来看，理论物理学有望帮助人们从基础上重新认识机器学习领域。早在1984年， L. G. Valiant就发表了一篇经典论文《A theory of the learnable》，在其中，他便对此定下了基调。

文章图片

文章图片
论文地址：https://dl.acm.org/doi/10.1145/1968.1972
这篇论文介绍了一个严格的学习统计理论，可以看作是一切可学习的基础。它突破了现在深度学习、机器学习中以数学为根基的可学习或学习算法的范畴，而以更高、更宏观的角度来讨论模型、人类、或各种事件的“可学习性” 。
概括来说，作者将学习行为定义为一种“在没有显示程序化的情况下获取知识的现象” ，文章从计算的角度给出了研究学习现象的具体方法，包括选择正确的信息收集方法、学习方法、以及搜索选择合理的描述计算方法、计算步骤的数学概念类型。
1
深度学习应该从物理中学点什么？
但当时间来到2010年代，经历了漫长蛰伏的深度学习异军突起，在诸多领域中以迅雷不及掩耳之势大肆霸榜，刷新各种记录并吊打其他传统算法。深度学习凭借其彪悍强大的泛化能力，以及不可理喻的非线性学习能力赢得了世人的惊叹和承认。但是随之而来的，也有质疑和困惑，这个黑箱家伙的背后，究竟隐藏着什么未解之谜？
在最近发表在《Nature Physics》杂志上的一篇评论论文中， Lenka Zdeborová研究员呼吁科研人员尝试重新使用“物理学启发的方法（Physics-inspired approaches）”来解决实际生活中那些复杂而毫无头绪的建模问题。