Nature评论：机器学习的物理启示录——隔壁的另一条机遇之道( 二 ) 老话说：隔行不取利。但时过

在这篇名为《Understanding deep learning is also a job for physicists》的文章中，作者首先赞扬了深度学习的广泛应用，以及在诸多领域中的卓越表现。

文章图片

文章图片
文章地址：https://www.nature.com/articles/s41567-020-0929-2
但是也一针见血的指出这种“无脑”训练的方法在某种意义上不够“优雅” ，它浪费了大量了计算资源和泛化能力，可能费劲千辛万苦训练出一个庞大复杂的模型结果只是解决了一个y=kx+b的问题。
换句话说，深度学习的研究很多情况下没有剖析到问题的本质，他们没有深入的分析数据，没有细致的观察数据之间的关联和变化，因而也没有对其背后的规律和真正的核心模型进行理解和探究。极有可能的是，我们训练出了一把举世无双的屠龙宝刀，目的是给装修公司刮大白——虽然好使，但是物理学家们还是觉得腻子铲好使……当然，作者也有呼吁物理学家借鉴深度学习这个工具加速各自理论研究和模型研究的初衷。
具体来说， Lenka指出：物理学家擅长于归纳总结，总能够透过数据看到其后的本质。物理学家们拥有丰富的经验，他们可以轻松的处理数量庞大、异构、多模态且量级各异的实验数据，并且从中抽丝剥茧，像福尔摩斯一样找到问题背后的规律。
因此，物理学家们总能找到问题背后的本质，并且对其中重要的那部分合理建模。而对于数据中那些无关紧要的噪声和细节，物理学家们也能够把它们准确的剔除出来并且忽略。可怕的是，物理学家甚至还总能通过分析和调查来测试这些猜想和模型。
一个典型的例子是物理学中十分成功的磁学模型-Ising模型。Ising没有使用任何关于磁相互作用或材料特性的量子力学先验细节，但它却可以准确的模拟出自然界中的若干种类型的实验现象。
事实上，计算科学家们在之后也尝试对同样的问题基于数据建立了机器学习方法。他们曾经设计了一个Hopfield网络，喂给它超大规模的数据后，训练出来的模型居然和Ising别无二致，二者结果完全相同。
可以说，这就是一个机器学习版本的Ising网络。这也从侧面说明了Ising模型的成功。所以说，如果我们想对深度学习的理论有进一步的理解、如果我们想揭开深度学习黑盒背后的神秘面纱，那物理学所启发的归纳思路可能是个不错的突破口。
我们可以稍微展开来讲，为什么说物理学有望成为深度学习理论的突破口呢？我们知道，深度学习的可解释性研究或合理性理论研究一直是一个热门的领域。由于深度学习黑盒不可解释的特性，它被例如医疗等领域严格限制着。如果一个产品想通过CFDA、CE的认证，那么你需要将算法的理论讲的一清二楚，毕竟人命关天。
因此，如果我们可以从物理学的角度对深度学习的可解释性进行系统的阐述和研究，甚至哪怕是一点点微小的进步，也将会被业界和学界当作救命稻草一样牢牢抓住并异常珍惜。
那么针对深度学习可以计算什么？我们如何训练它们？信息是如何通过它们传播的？为什么它们可以泛化？我们如何教它们想象……等等的灵魂拷问，都将是研究的重点。目前，有些工作比如《Statistical Mechanics of Deep Learning》从统计力学的物理分析角度来为这些问题提供根源概念上的解释。

文章图片

文章图片