ICCV 2021 Oral | 基于点云的类级别刚体与带关节物体位姿追踪导读：本文是计算机视觉领域

文章图片

文章图片
导读：本文是计算机视觉领域顶级会议 ICCV入选论文《基于点云的类级别刚体与带关节物体位姿追踪（CAPTRA: CAtegory-level Pose Tracking for Rigid and Articulated Objects from Point Clouds）》的解读。该工作由北京大学前沿计算研究中心陈宝权课题组与斯坦福大学/北京大学王鹤等合作完成，论文共同一作翁伊嘉为2021届图灵班学生。
1
引言
物体位姿包含相机坐标系下物体的三维平移与三维旋转，在计算机视觉与机器人学中有着广泛应用，如指导机器人抓取与操纵物体，在增强现实中将虚拟内容叠加在真实物体上等。
不同于只能应用于已知物体的实例级别位姿估计， [1] 提出的类级别物体位姿估计问题要求对来自已知物体类别、与训练物体存在几何差异的未知测试物体进行九自由度的位姿估计，即估计物体的三维尺寸、三维平移、三维旋转，更适用于实际应用中形状外观各异的真实物体。[2] 进一步将对刚性物体的位姿估计拓展到带关节物体（如笔记本电脑、抽屉、眼镜）上，为理解和模仿人类与带关节物体之间的复杂互动奠定了基础。
目前，大部分类级别物体位姿估计的工作聚焦于单帧位姿估计，而我们希望能对连续多帧观测进行时序上平滑的物体位姿追踪，从而更好地服务于增强现实、基于实时反馈的闭环控制等应用。
我们提出了首个可以同时应用于刚性物体和带关节物体，运行在类级别场景下的九自由度位姿追踪框架。给定当前帧的深度点云与上一帧的物体位姿估计，本文提出的框架能通过端到端的训练，准确地更新位姿估计，在估计准确率与运行速度上都超过了已有的最好方法。
2
方法简介

文章图片

文章图片
图1. 类级别物体位姿追踪任务
如上图，给定包含实例的实时深度点云流，其逐部件初始位姿估计，我们希望在线地追踪其各部件位姿。具体来说，我们逐帧进行位姿估计，在帧，基于第帧的各部件位姿估计与第帧的深度点云观测，估计第帧的各部件位姿。
仿照[1] ，我们将九自由度位姿进一步分解为七自由度相似变换与三维长宽高比例，以下主要讨论的估计，细节请参见论文。
位姿估计存在两类主流方法，基于坐标预测的方法首先为观测点预测其对应物体点在归一化物体坐标系中的坐标，利用观察坐标与归一化物体坐标之间的对应关系，使用 RANSAC 拟合物体位姿，得益于 RANSAC 对离群点的有效移除，该方法通常能获得更为准确与鲁棒的预测，但 RANSAC 算法中的假设采样较为耗时，其过程也不可微，无法直接针对位姿进行优化。
基于位姿回归的方法进行端到端可微的直接预测，能够达到很高的运行速度，但容易产生更大的预测误差。我们希望结合两类方法的优势，建立一个端到端可微、精度与速度兼备的位姿追踪系统。
如下图所示，我们的模型由位姿正规化（Pose Canonicalization）、旋转回归网络（RotationNet）与坐标预测网络（CoordinateNet）组成。

文章图片

文章图片
【ICCV 2021 Oral | 基于点云的类级别刚体与带关节物体位姿追踪】图2. 我们的位姿追踪框架
位姿正规化（Pose Canonicalization）