处理网络推理得到的装甲板四点波动情况

发布于 2024-04-05  4708 次阅读

---

ling

ling

神经网络能够直接推理出装甲板四个点，但相对于传统视觉得到的装甲板四个点来说，神经网络得到的四个点可能存在波动的情况，什么意思？，看图：

如上图所示：

红色点表示灯条的真实四个顶点，由于神经网络推理的特性，得到的结果会有一定波动，推理得到的结果可能是红点周围的黄点中任意一个。在PnP解算中，我们需要将世界坐标系下四个点的位置按顺序排列，例如，左下、右下、右上、左上。再将二维图像中的四个点按同样顺序排列，送入PnP求解器中得到装甲板相对于相机的三维位姿，但因为网络波动，我们得到的四个点绝不可能是红色的四个点，而是黄色点中的随机四个，如果直接放入PnP求解器中，得到的结果可能是装甲板在疯狂的跳变。为了缓解这一状况，可以考虑改变策略，选用绿色点位置作为参考点，得到世界坐标系下四个绿色点的坐标值，再将网络推理得到的灯条四个点两两取中值，就得到了图像中四个绿色点的坐标值，相当于对网络推理得到的四点做了中值滤波，抑制了一些由于波动带来的影响，虽然可能会降低一些精度，但是有更好的稳定性。