相机校准说明

相机校准是准确确定相机和镜头模型参数的过程。对于常见的Brown-Conrady相机模型，这相当于确定合适的相机模型的参数，至少是焦距 $f$，可能还有中心点坐标 ($c_x, c_y$) 和镜头畸变参数 $\boldsymbol{k}$。

在最常见的离线校准过程中，图像是在特定约束下拍摄的。校准对象定义了一个世界坐标系，这样视觉特征的 3D 坐标就是已知的。大多数这些方法都是通过观察具有已知视觉特征的校准对象来工作的。当需要完全控制校准过程并要求高精度时，这种方法是首选。

相机型号

在任何相机校准工作中，选择合适的相机模型至关重要，该模型既不会过低也不会过高地参数化相机。有关相机模型的更多信息，请参阅我们关于该主题的文章。

校准程序

文献中提出了许多相机校准程序。例如，参见 Tsai 的方法 [3] 以及Heikkilä 和 Silvén 的方法 [4]。这些程序在所需校准对象的类型、相机参数初始猜测的推导以及随后的非线性优化步骤方面有所不同。所有程序中最受欢迎的可能是 Zhang 的方法 [5]。

所有这些方法都应始终遵循非线性优化（捆绑调整），因为它们仅返回代数解，而不考虑镜头效应。但它们确实提供了非线性优化收敛所需的初始猜测。

张氏方法

计算机视觉社区中一种现代且流行的方法是 Zhang 的方法，它也在流行的软件库中实现，例如libCalib 、OpenCV、Jean-Yves Bouguet 的 Matlab 相机校准工具箱和 Matlab 的计算机视觉工具箱。Zhang 的校准程序依赖于对具有易于识别特征的平面校准板的观察。它首先忽略镜头畸变，然后通过单应性将这些的二维坐标与观察到的图像坐标投影相关联。这允许通过闭式解来求解最重要的针孔参数和校准平面外部参数（相机相对于校准板坐标系的位置和方向）。

蔡氏方法

与张的方法不同，蔡的方法没有将物体和图像点之间的关系公式化为一系列单应性。相反，它推导出代数约束，从而逐步消除未知数。相机被建模为标准针孔 + 单个径向失真系数。

Tsai 的方法比 Zhang 的方法有一个优势，那就是它还可以为非平面校准物体（例如阶梯目标或 V 形校准装置）找到模型参数的解决方案。因此， libCalib实现了 Tsai 的方法。

光束法区域网平差

在上述任何一种初始化方法之后，都会采用非线性优化来优化参数估计，并包含无法通过这些技术解决的其他相机参数（例如径向镜头失真参数）。该估计问题可以看作是束块调整（有时只是束调整）的一个特殊情况，其目的是在特征检测中假设高斯噪声的情况下找到最大似然解以最小化平均重新投影误差。

要最小化的目标函数是重投影误差平方和，在图像平面中定义：
$$\sum_i{\sum_j{||\vec{p}_{ij} - \pi(\vec{P}_j, \boldsymbol{K}, \vec{k}, \boldsymbol{R}_i, \vec{T}_i) ||^2}} \quad ,$$
其中 $\pi(\vec{P}_j, \boldsymbol{K}, \vec{k}, \boldsymbol{R}_i, \vec{T}_i)$ 是给定三维坐标和相机参数确定二维点坐标的投影算子。$i$ 对标定板的位置求和，$j$ 对单个位置上的点求和。$\vec{P}_j$ 是局部标定物体坐标系中的三维点坐标，$\vec{P}_j = [x, y, 0]^\top$，$\vec{p}_{ij}$ 是相机中观察到的二维坐标。每个位置的外部 $\boldsymbol{R}_i, \vec{T}_i$ 可以理解为相机相对于标定物体定义的坐标系的位置。利用优质的镜头和校准目标，通常可以实现几十分之一像素数量级的最终平均重投影误差。

Levenberg-Marquardt 算法已成为解决这个具有许多参数和未知数的最小二乘问题的事实标准。它可以看作是一种混合方法，在高斯-牛顿迭代优化方案和梯度下降之间进行插值。出于计算原因，应使用稀疏求解器，因为重新投影误差的雅可比矩阵往往非常稀疏（大多数参数仅依赖于少数方程）。

Calib Camera Calibrator 和 libCalib 实现了稳健优化，可以使用 Huber 损失函数。该损失函数对较大的误差进行线性加权，即使存在少量异常值也能确保良好的收敛。

自动校准

上述标准离线校准程序的替代方法是自动校准。在自动校准中，参数是根据观察一般场景的普通相机图像确定的 [1,2]。根据具体方法，对所观察的场景或图像之间的相机运动几乎不做任何假设。对于某些应用，这确实有效，但通常需要对相机做出一些假设，或者需要选择一个简化的相机模型。然而，即便如此，自动校准过程往往不可靠，其成功与否在很大程度上取决于特定的场景构图。