BEV图像处理对自动驾驶系统的性能优化众所周知

众所周知，可靠地环境状态感知的能力，尤其是潜在对象的存在及其运动行为，对于自动驾驶至关重要。在自动驾驶系统运行过程中比较重要的是对其行驶的周边环境进行态势评估。这需要通过多个车载摄像机图像、激光点云、毫米波雷达点云协助一定的算法模型实现。原理是对于车身周围的整个环境的探测描述，以获得校正后的360度鸟瞰图BEV（Birds Eye Views）图像。校正的BEV图像可被分割出语义类别，以语义分割图像作为输入，可以减少模拟数据与现实世界数据之间的实际差距，并且可以成功应用于实际工况下的探测过程中。总体说来，在鸟瞰图中可以很好的估计遮挡情况下的语义场景，这一过程可以对3D几何形状和可见场景语义有更加准确的了解，同时对遮挡区域进行更加准确的预测，生成质量更高的道路layout 。同时， BEV图像的建立可以对具有低照度和大量的车辆生成车辆和道路layout的清晰估计。
【BEV图像处理对自动驾驶系统的性能优化】

文章图片

文章图片
BEV的遮挡区域预测
由于BEV投影保留了物体的大小和距离，为学习提供了强大的先决条件。同时，神经网络方法生成的BEV图像并不依赖手动标记数据，而是在模拟合成数据集上进行训练，并泛化到现实世界数据，通过给出道路场景的单个图像，神经网络架构实时（30 fps）在鸟瞰视图中推理非模态场景。使那些在图像不可见的静态场景（道路，人行道）以及交通参与者幻觉般恢复。这种拟合预测的方法可以很好地应用在对环境动态过程的预测规划中，实现对遮挡区域的预测。
对于每个车载摄像机，虚拟射线是从其安装位置投射到语义分割的真值BEV图像边缘上，且这个射线仅投射到特定摄像头视野的边缘像素。对于BEV图像而言，通常是根据以下规则处理这些射线的所有像素以确定它们的遮挡状态：
这里需要说明BEV对这种遮挡目标的预测对自动驾驶行为中极具挑战性的场景，比如当大多数视图被车辆遮挡，并且场景呈现出高动态范围（HDR）和阴影等现象时，自动驾驶系统可以接收BEV的预测结果实现很好的风险态势评估，态势评估结果可以对自车的轨迹预测和决策规划模型产生很好的先验知识输入，比如增加轨迹预测过程中某个方向上的危险权重，适当的对轨迹进行偏移调整，决策规划模型可能会对相应的横纵向控制策略进行调整，比如经过对应方向路口前进行一定程度的减速，对向偏移等。
此外， BEV图像中可以实现的单道路环境级分布图，准确的估计移动车辆的未来轨迹。同时对具有低照度和大量的车辆， BEV的单层布局方式能够准确生成车辆和道路layout的清晰估计。
BEV的定位建图
此外， BEV图像可以很好的实现地平面估计、道路分割和3D目标检测，生成质量较高的车道级Layout 。这一过程主要依靠端到端深度学习架构直接从视觉图像、激光点云、毫米波点云中进行估计，估计的过程会充分考虑到三者各自所具备的优势，进行权重分配，实现有效的前融合和后融合。

文章图片

文章图片
如上图所示，在视觉处理端口，整个传感器数据融合过程接收输入端的各个方向的摄像头感知结果，生成视觉多任务模型，这些任务包含2D感知、深度和路面高程、动态目标3D检测，生成多摄像头融合模型，该模型用于俯视动态目标3D检测实现道路俯视图语义分割。