AI再突破：小鼠也分等级，它的身份竟刻在大脑里( 二 ) 在AIforScience这个领域

文章图片

文章图片

图2.基于计算机视觉与机器学习的社会层级行为神经机制解析
不过，在「视觉行为检测-脑神经信号关联模型」的加持下，卢策吾团队与合作者成功地记录到了小鼠在进行「社会等级」行为时的脑部活动状态。
在此之上，团队又进一步地发现了这种行为的形成机制——大脑内侧前额叶皮层-外侧下丘脑（mPFC-LH）回路具有控制社会等级行为的功能。并且，这个结论还在严格的生物学实验中得到了证实。
可以说，这项研究带来了一种全新的基于机器视觉学习发现未知行为功能神经回路的研究范式。
机器行为理解——三大问题
上述工作属于行为理解的基础研究的一部分，也是人工智能一个重要问题。
机器在检测到真实世界实体后，希望进一步理解她/他/它在什么，跟进一步行为执行实体（人或机器人）理解他自己在干什么。
不过，想要让AI能够真正地理解行为，就不得不去解答以下的三个问题：
神经认知角度：机器认知语义与神经认知的内在关联是什么？
机器认知角度：如何让机器看懂行为？
具身认知角度：如何将行为理解知识迁移到的智能本体（机器人系统）？
刚才的这篇Nature论文，正是面向的第一个「神经认知角度」问题。

文章图片

文章图片

图3.卢策吾团队围绕行为理解主要工作
当然，对于后面的两个问题，卢策吾团队也有着多年的积累。
眼睛：我会了！脑子：不，你不会！
人类觉得一眼就看到一个行为，觉得很轻松，但对于机器却是非常挑战。比起常见物体识别，行为理解在我们大脑里更加抽象和缥缈的概念。
比如，当你闭上眼睛想象一个行为概念的时候会有成千上万的可能模式，不像物体（如苹果，桌子）模式单一。
如此巨大的可能空间，导致「看懂行为」很难像之前那样用深度学习蛮力去学。实验也表明，行为识别准确率仍然很低。
面向这一挑战，卢策吾团队从行为知识推理、行为对象可泛化以及支撑行为理解的基础工具——姿态估计，等多个维度展开了研究，主要成果包括三部分内容：
一、人类行为知识引擎HAKE（HumanActivityKnowledgeEngine）
区别于一般的直接深度学习「黑盒」模式，卢策吾团队构建了知识引导与数据驱动的行为推理引擎HAKE（http://hake-mvig.cn/home/）。
首先， HAKE将行为理解任务分为两阶段：
将视觉模式映射到人体局部状态原语空间，用有限且接近完备的原子的原语表达多样的行为模式；
将原语依据逻辑规则进行编程，以可推理行为语义。

文章图片

文章图片

图4.HAKE系统框架
其次， HAKE提供了大型的行为原语知识库以支持高效的原语分解，并借助组合泛化和可微神经符号推理完成行为理解：
规则可学习：HAKE可根据少量人类行为-原语的先验知识进行逻辑规则的自动挖掘和验证，即对原语组合规则进行总结，并在实际数据上进行演绎验证，以发现有效且可泛化的规则，发现未知行为规则。

文章图片

文章图片

图5.学习未见行为规则
人类性能upperbound：在87类复杂行为实例级别行为检测测试集（10,000张图像）上，具备完备原语检测的HAKE系统的性能甚至可接近人类的行为感知性能，验证了其巨大潜力。