Yann LeCun最新访谈：能量模型是通向自主人工智能系统的起点本文转自：雷锋网YannLeCun认为

本文转自：雷锋网

文章图片

文章图片

Yann LeCun认为，「能量模型」开辟了通往「抽象预测」的道路，为能够进行规划的人工智能提供了「统一世界模型」。
来源 | ZDNet
编译 | 钱磊
编辑 | 陈彩娴
继自监督学习之后， Yann LeCun 在接受 ZDNet 的最新访谈中又着重探讨了他在几年前曾大篇幅推崇的概念：「能量模型」（energy-based models）。
什么是能量模型？
Yoshua Bengio、 Ian Goodfellow 和 Aaron Courville 等人在2019年出版的《深度学习》（又称「花书」）一书中将「概率函数」定义为「描述了一个或一组随机变量呈现其每种可能状态的可能性大小」，而能量模型则简化了两个变量之间的一致性。能量模型借用统计物理学的概念，假设两个变量之间的能量在它们不相容的情况下上升，在一致的情况下则下降。这可以消除将概率分布“标准化”过程中出现的复杂性。
在机器学习领域，能量模型是一个「老」概念，至少可以追溯到20世纪80年代。但近年来，越来越多成果使能量模型变得更可行。据ZDNet报道，近年来随着对能量模型的思考不断深入， LeCun围绕该概念做了几次演讲，包括2019年在普林斯顿高等研究院的一次演讲。
最近， LeCun在两篇论文中描述了能量模型的研究现状：一篇是 LeCun 与Facebook AI 实验室（FAIR）的同事于去年夏天共同发表的“Barlow Twins”；另一篇则是他与 FAIR、Inria 合作发表于今年1月的“VICReg” 。
正如LeCun在采访中所说，他目前的研究与量子电动力学有一些有趣的相似之处，尽管这不是他的重点。他关注的重点是人工智能系统的预测可以进步到何种程度。
LeCun自己开发了一种叫做“联合嵌入模型（joint embedding model）”的现代能量模型，他相信这能为深度学习系统带来“巨大的优势” ，这个优势就是“抽象表示空间中的预测” 。
LeCun认为，这种模型为“预测世界的抽象表征”开辟了道路。抽象预测能力是深度学习系统广义上的发展前景，当系统处于推断模式时，这种抽象预测机器的“堆栈”可以分层生成规划场景。
这种模型可能是实现LeCun心目中的统一“世界模型”的重要工具，而这种统一的“世界模型”将推进实现他心目中的自主人工智能，自主人工智能能够通过对场景之间的相关性和图像、语音和其他形式输入数据的相关性建模来进行规划。
【Yann LeCun最新访谈：能量模型是通向自主人工智能系统的起点】以下是ZDNet与LeCun通过Zoom的对话记录，内容有所编辑：
1
自监督学习 vs. 无监督学习
ZDNet：首先，为了帮助我们学习，请谈谈您经常说的机器学习中的「自监督学习」和「无监督学习」。无监督学习和自监督学习的关系是什么？
Yann LeCun：嗯，我认为自监督学习是一种特殊的无监督学习方式。无监督学习这个术语有点复杂，在机器学习的背景下不是很好定义。当提到无监督学习时，人们会想到聚类算法和PCA（主成分分析），以及各种可视化方法。
而自监督学习基本上是去尝试使用对于非监督学习来说相当于监督学习的方法：也就是使用了监督学习方法，但训练的神经网络没有人为提供的标签。比如说我们可以取一段视频，给机器看一段视频片段，然后让它预测接下来会发生什么。或者也可以给机器看两段视频，然后问它这个视频是另一个视频的后续吗？我们要做的不是让机器预测后续，而是让它告诉你这两个场景是否相容。或者向机器展示同一个物体的两个不同的视图，然后问它，这两个东西是同一个物体吗？在你给系统的所有数据基本上都是输入数据的情况下，自监督学习本质上没有真人的监督。