培育强人工智能的「ImageNet」：上海交大卢策吾组提出铰接物体知识库 AKB-48( 三 ) 本文转自：雷锋网ImageNet的出现

物理属性
真实的物体存在于物理世界中，通常具有物理属性，这对于精确仿真、真实世界中的控制和铰接物体的交互是很重要的。因此，我们为模型存储物理属性的标注，包括每个部位的质量、惯量、材料和表面摩擦力。
3
物体选择：真实世界扫描 vs. CAD 建模
本文从标注的准确性、时间和金钱成本两个方面对比真实世界扫描和 CAD 建模。
标注准确性
根据 ArtiKG 的内容，我们可以看到，相较于 CAD 建模，从真实世界中扫描的物体具有很多优势（例如，外观和物理性质）。但不可否认的是， CAD 模型可以模拟内部结构，而扫描技术更多地关注物体表面。幸运的是，大多数日常用品都可以拆卸，所以扫描技术可以很好地处理它们。
时间与金钱成本
在研究新的类别或运动学结构时， ShapeNet 类型的模型收集范式局限于构建手工 CAD 模型所需的大量时间和金钱成本。另一方面，日常生活中，许多铰接物体价格偏移，可以被外行人扫描。就 CAD 而言，淘宝上的外包服务价格如下表所示（单位：美元）。
4
快速铰接知识建模（FArM）
模型获取设备
为了高效收集现实世界的铰接模型，我们设置了一个如下图所示的记录系统：

文章图片

文章图片

图注：（1）用于多尺度物体的旋转转台（2）是一个跟踪标记（3）吸光项（4）升降支架（5）Shining 3D 扫描仪（6-8）用于捕获多视图物体数据的英特尔 RealSenseL515相机。
关节建模
我们为标注开发了一个铰接物体建模的三维 GUI 。建模过程包含三个部分：物体对齐、部位分割、关节标注（详情请参阅原文）。
物理标注
现实世界中的铰接物体存在于物理世界中，具有物理属性。为了使 AKB-48 可以被用于现实世界的机器人控制和交互任务，我们还为铰接物体的每个部分标注了以下物理属性：各部位质量、各部位惯性力矩、各部位材料和摩擦力。
数据集分析
物体类别
在构建 AKB-48 数据集的过程中，我们考虑了以下要求：（1）通用性。AKB-48 能够涵盖日常生活中常见场景中的大部分铰接物类别。（2）多样性。每个类别中的物体有各种各样的形状，形变能力、纹理和运动结构。（3）用例。所选物体应该包含各种使用上的功能。此外，完成控制性能的能力是需要优先考虑的。
统计信息

文章图片

文章图片

图注：AKB-48 与其它流行的模型数据集对比。
我们的 AKB-48 数据集在 ArtiKG 中提供了四种丰富的标注信息：外观、结构、语义和物理属性。AV：平均顶点数。AT：三角形的平均数目。ST：语义分类。PS：各部位语义标签。PM：各部位质量。PI：各部位惯性力矩。PF：各部位的摩擦力。
AKBNet
AKBNet 是一个用于 C-VAM 任务的集成架构。AKBNet 的输入是单张带有检测到的二维边界框的 RGB-D 图像。AKBNet 中构建了三个子模块，旨在估计各部位的 6D 姿态，重构铰接物体的完整几何形状，并根据感知信息推理交互策略。

文章图片

文章图片

图注：AKBNet 架构示意图。
姿态模块
给定带有二维边界框的图像，我们可以获取部分点云 P 。我们首先通过 Pointnet++提取点云特征，然后建立了用于预测逐点分割 S 和部位级归一化物体坐标空间（NOCS）图的两个分支。为了解决为止运动结构和关节类型的问题，我们在特征提取器上引入了三个分支，根据相应的部位对关节类型分类，并预测关节的属性（位置，轴）。最后，我们通过带有运动约束的姿态优化算法恢复出每个刚性部位的 6D 姿态。