理解重投影误差
在相机校准中，重投影误差 (RPE) 至关重要。它到底是什么？我们如何解释它？本文旨在阐明这个重要且有时略微被误解的话题。
重新投影误差是多少？
正式地，重新投影错误是：
测量点与投影点之差的二维向量
下面您可以看到 Calibrator 如何可视化测量点（绿色十字）和投影点（红色圆圈）。由于单个误差往往比单个像素小得多，Calibrator 使用红线将重新投影误差绘制为 10 倍缩放版本。
让测量点称为 $p_{ij}$。这里 $i$ 表示校准板上点的唯一 ID，$j$ 表示姿势/图像编号。在相机校准设置中，使用特征检测算法（例如棋盘检测器、圆形网格检测器等）找到其坐标。检测器的工作是在图像中找到校准目标。此步骤通常随后进行亚像素优化，其中使用周围的图像值来实际确定特征的位置，精度远低于 1px。
投影点 $\breve{\vec{p}} _{ij}$ 是通过获取第 $i$ 个点的标定板坐标、应用第 $j$ 个姿势的外部变换以及最后应用相机的投影映射而获得的。外部变换是一种 3D 旋转平移，它将特定姿势/镜头中的校准目标的局部坐标系与相机的坐标系相关联。相机的投影映射取决于所使用的（数学）相机模型。最常见的相机模型执行透视投影并结合非线性镜头失真。
相机校准中最小化的目标函数是：
$$\sum_i{\sum_j{||\vec{p}_{ij} - \breve{\vec{p}} _{ij}||^2}} \quad ,$$
- 即所有重新投影误差的范数/长度的平方和最小化。换句话说，校准过程会调整所有外部参数和相机参数，以使点投影到尽可能靠近测量点的位置。
最常见的是，校准软件会报告所有重投影误差标准的均方根，简称为重投影误差。
$$\textrm{RPE}_{\textrm{RMS}} = \sqrt{1/N \cdot \sum_i{\sum_j{||\vec{p}_{ij} - \breve{\vec{p}} _{ij}||^2}} }$$
注意 - 有时也会报告重新投影误差的平均值或中值，并且文献中的命名法并不是 100% 一致的。
$$\textrm{RPE}_{\textrm{mean}} = 1/N \cdot \sum_i{\sum_j{||\vec{p}_{ij} - \breve{\vec{p}} _{ij}||}} $$
$$\textrm{RPE}_{\textrm{median}} = \textrm{median}(||\vec{p}_{ij} -\breve{\vec{p}} _{ij}||)$$
尤其是在严重异常值的情况下，这些量可能会有很大差异。总之 - 从技术上讲，重新投影误差是一个矢量量，但在大多数情况下，所有重新投影误差的统计数据（RMS）都意味着重新投影误差。
错误来源有哪些？
为什么 RPE 永远不会精确变为零？有几个因素会导致此错误，但无法完全消除。
首先是特征噪声 - 即校准目标上鞍点或圆的不完美检测。它可以进一步分解为图像噪声（由暗电流、散粒噪声和量化噪声组成）和检测器误差/偏差。
其次，数学相机模型可能不够灵活，无法准确地模拟镜头和传感器的复杂光学行为。
第三，通常被认为是完美的校准目标可能并非如此。对于平面板而言，硬度、刚度和温度稳定性至关重要，如果不够好，将导致更高的 RPE。
最后，用于校准的初始猜测可能不在全局最小值附近，从而导致非最优解决方案。
误差源可以是无偏随机的，也可以是有偏的，这可能会导致校准过程偏离轨道。重要的问题是误差是否与相机参数相关。
举例来说，虽然图像噪声确实会影响 RPE，但如果使用足够多的图像和特征坐标，其随机性将导致对解决方案的净效应为零。
普通激光打印机打印的校准目标很容易产生偏差，例如棋盘格不是正方形等。这种影响将导致 RPE，并且很可能使找到的解决方案产生偏差。
RPE 告诉我们什么？
现在我们已经清楚地定义了重投影误差并分析了它的来源，我们可以了解它真正具有的含义。
首先，请注意 RPE 的单位是像素。因此，如果相机传感器分辨率更高且像素更小，我们自然会期望 RPE 更高。将 RPE 乘以给定传感器的像素大小（通常为几微米），您会得到一个相当可比的量，可以使用三角学来推导工作距离的等效误差。
因此，RPE 可以指示我们检测特征的准确度以及我们投射 3D 坐标的准确度。
但是，所用校准图像的 RPE 是训练误差——它是给定数据上获得的最低数字。正如统计学中常见的那样，我们只关注 RPE 就会面临过度拟合的风险。例如，使用很少的校准图像，仅覆盖图像的一小部分，并且激活许多校准参数（灵活的相机模型），我们很可能获得非常低的 RPE。更仔细地分析协方差结构使我们能够估计更有利的测试误差。
使用校准器，我们可以分析投影和三角测量误差，从而用比 RPE 更有意义和可比性的统计数据量化我们的校准，并告诉我们我们可以预期给定的相机设置在真实单位中的准确度。