培育强人工智能的「ImageNet」：上海交大卢策吾组提出铰接物体知识库 AKB-48( 四 ) 本文转自：雷锋网ImageNet的出现

形状模块
给定部分点云 P ，形状模块旨在恢复出完整的几何外形和相应的关节状态。我们利用 A-SDF 构建了一个特征提取器用来处理连接后的部分点云和高斯初始化的形状嵌入、关节嵌入。
控制模块
控制模块执行两项任务：分别对应于铰接结构中的转动关节和移动关节的打开和拉动。为了完成这些任务，我们训练了两个强化学习智能体。
我们给出了两种状态表征：（1）对象状态（2）智能体状态。动作包括智能体末端执行器的三维平移和夹持器的打开宽度。奖励函数是转动关节沿目标部件关节轴方向的旋转角度，移动关节沿目标部件关节轴方向的移动距离。我们使用两种常用的强化学习基线（带有 HER 的 TQC 和 SAC）训练。
5
实验结果
姿态模块性能
我们在真实世界测试集上评估了 NPCS、A-NCSH 和 AKBNet 在类别级关节姿态估计任务中的作用。

文章图片

文章图片

图注：类别级铰接姿态估计结果。
在姿态估计方面， AKBNet 在旋转、平移和 3D IoU 指标上的误差分别为 9.8、0.021 和 53.6 ，高于 NPCS 和 A-NCSH 。在关节相关的评估方面， AKBNet 可以精确预测未见过的铰接物体的关节类型，准确率为 94.6% 。此外， AKBNet 在关节轴和位置预测方面分别具有 8.1 和 0.019 的误差。
形状模块性能
图注：铰接物体重建结果。
给定真实的关节状态，形状模块可以以 4.2 Chamfer-l1 距离重建出关节物体。另一方面，在给定预测关节状态的情况下，系统地评估形状模块，该状态是由姿态模块预测的相连的两部分的姿态推导出来的。Chamfe-l1 距离比真实的关节状态下高 3.3 ，说明所预测的姿态对重建性能影响较大。
控制模块性能
图注：铰接物体控制任务的成功率。
【培育强人工智能的「ImageNet」：上海交大卢策吾组提出铰接物体知识库 AKB-48】我们比较了 TQC+HER 训练算法与 SAC+HER 训练算法在 AKBNet 控制模块上进行打开和拉动任务的性能。给定真实的物体状态时， AKBNet 完成打开和拉动任务的成功率分别为 72.5% 和 98.7% 。然而，当使用预测的物体状态时，我们的方法只有 40.2% 和 44.6% 的成功率。