1. 张正友相机标定法

1.1 相机内的参数

设P=(X,Y,Z)P=(X,Y,Z)为场景中的一点，在针孔相机模型中，其要经过以下几个变换，最终变为二维图像上的像点p=(μ,ν)p=(μ,ν):

1. 将PP从世界坐标系通过刚体变换(旋转和平移)变换到相机坐标系，这个变换过程使用的是相机间的相对位姿，也就是相机的外参数。
2. 从相机坐标系，通过透视投影变换到相机的成像平面上的像点p=(x,y)p=(x,y)。
3. 将像点pp从成像坐标系，通过缩放和平移变换到像素坐标系上点p=(μ,ν)p=(μ,ν)。

相机将场景中的三维点变换为图像中的二维点，也就是各个坐标系变换的组合，可将上面的变换过程整理为矩阵相乘的形式：

将矩阵KK称为相机的内参数,

其中，α,βα,β表示图像上单位距离上像素的个数，则fx=αf,fy=βffx=αf,fy=βf将相机的焦距ff变换为在x,y方向上像素度量表示。

另外，为了不失一般性，可以在相机的内参矩阵上添加一个扭曲参数γγ，该参数用来表示像素坐标系两个坐标轴的扭曲。则内参数KK变为

1.2 张氏标定法

在张氏标定法中，用于标定的棋盘格是三维场景中的一个平面ΠΠ，其在成像平面的像是另一个平面ππ，知道了两个平面的对应点的坐标，就可以求解得到两个平面的单应矩阵HH。其中，标定的棋盘格是特制的，其角点的坐标是已知的；图像中的角点，可以通过角点提取算法得到，这样就可以得到棋盘平面ΠΠ和图像平面ππ的单应矩阵HH。
通过上面的相机模型有：

其中pp是像点坐标，PP是标定的棋盘坐标。 这样就可以得到下面的等式：

HH表示的是成像平面和标定棋盘平面之间的单应矩阵。通过对应的点对解得HH后，则可以通过上面的等式得到相机的内参数KK，以及外参旋转矩阵RR和平移向量tt。

1.3 实现步骤

1. 打印一张棋盘格A4纸张（黑白间距已知），并贴在一个平板上
2. 针对棋盘格拍摄若干张图片（一般10-20张）
3. 在图片中检测特征点（Harris特征）
4. 利用解析解估算方法计算出5个内部参数，以及6个外部参数
5. 根据极大似然估计策略，设计优化目标并实现参数的refinement

1.4 原理

了解坐标系：世界坐标系 、相机坐标系 、图像坐标系 、像素坐标系

（1）计算外参：

s: 世界坐标系到图像坐标系的尺度因子

A: 相机内参矩阵

像主点坐标

α, β: 焦距与像素横纵比的融合

γ: 径向畸变参数

有：

2D 图像点：

3D 空间点：

其次坐标：

所以描述空间坐标到图像坐标的映射（标定用的棋盘格平面到图像平面的单应性关系）：

不妨设棋盘格位于Z = 0 定义旋转矩阵R的第i列为, 则有：

于是空间到图像的映射可改为：

其中H 是描述单应性矩阵,可通过最小二乘法，从角点世界坐标到图像坐标的关系求解

该单应性矩阵有8个自由度

（2）计算内参

根据b的定义，可以推导出如下公式

可以推导出

可以通过b求解内参

（3）最大似然估计：
给定 n 张棋盘格图像，每张图像有 m 个角点
最小化下述公式等同于极大似然估计

上述非线性优化问题可以利用Levenberg-Marquardt 算法求解
需要初值

2. 代码与实现

2.1 代码

#!usr/bin/env/ python
# _*_ coding:utf-8 _*_import cv2 as cv
import numpy as np
import os
from step.homography import get_homography
from step.intrinsics import get_intrinsics_param
from step.extrinsics import get_extrinsics_param
from step.distortion import get_distortion
from step.refine_all import refinall_all_paramdef calibrate():#求单应矩阵H = get_homography(pic_points, real_points_x_y)#求内参intrinsics_param = get_intrinsics_param(H)#求对应每幅图外参extrinsics_param = get_extrinsics_param(H, intrinsics_param)#畸变矫正k = get_distortion(intrinsics_param, extrinsics_param, pic_points, real_points_x_y)#微调所有参数[new_intrinsics_param, new_k, new_extrinsics_param]  = refinall_all_param(intrinsics_param,k, extrinsics_param, real_points, pic_points)print("intrinsics_parm:\t", new_intrinsics_param)print("distortionk:\t", new_k)print("extrinsics_parm:\t", new_extrinsics_param)if __name__ == "__main__":file_dir = r'..\pic\data'# 标定所用图像pic_name = os.listdir(file_dir)# 由于棋盘为二维平面，设定世界坐标系在棋盘上，一个单位代表一个棋盘宽度，产生世界坐标系三维坐标cross_corners = [9, 5] #棋盘方块交界点排列real_coor = np.zeros((cross_corners[0] * cross_corners[1], 3), np.float32)real_coor[:, :2] = np.mgrid[0:9, 0:5].T.reshape(-1, 2)real_points = []real_points_x_y = []pic_points = []for pic in pic_name:pic_path = os.path.join(file_dir, pic)pic_data = cv.imread(pic_path)# 寻找到棋盘角点succ, pic_coor = cv.findChessboardCorners(pic_data, (cross_corners[0], cross_corners[1]), None)if succ:# 添加每幅图的对应3D-2D坐标pic_coor = pic_coor.reshape(-1, 2)pic_points.append(pic_coor)real_points.append(real_coor)real_points_x_y.append(real_coor[:, :2])calibrate()

其中对图片修改的代码：

import cv2
#循环灰度图片并保存
def grayImg():for x in range(1,13):#读取图片img = cv2.imread("E:\python\picture\a5\{}.jpg".format(str(x)))GrayImage=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)GrayImage=cv2.resize(GrayImage,(1000,1333))#保存灰度后的新图片cv2.imwrite("E:\python\picture\a5\{}.jpg".format(str(x)),GrayImage)
grayImg()

2.2 实验素材

是用电脑绘制的棋盘格并用oppor11拍摄的。

2.3 运行结果

cameraParams =
cameraParameters - 属性:

Camera Intrinsics
IntrinsicMatrix: [3×3 double]
FocalLength: [3.6816e+03 3.7186e+03]
PrincipalPoint: [1.7770e+03 2.2846e+03]
Skew: 0
RadialDistortion: [0.1812 -0.6860]
TangentialDistortion: [0 0]
ImageSize: [4608 3456]
Camera Extrinsics
RotationMatrices: [3×3×7 double]
TranslationVectors: [7×3 double]
Accuracy of Estimation
MeanReprojectionError: 3.4988
ReprojectionErrors: [30×2×7 double]
ReprojectedPoints: [30×2×7 double]
Calibration Settings
NumPatterns: 7
WorldPoints: [30×2 double]
WorldUnits: ‘centimeters’
EstimateSkew: 0
NumRadialDistortionCoefficients: 2
EstimateTangentialDistortion: 0
estimationErrors =
cameraCalibrationErrors - 属性:

IntrinsicsErrors: [1×1 intrinsicsEstimationErrors]
ExtrinsicsErrors: [1×1 extrinsicsEstimationErrors]

返回到命令窗口，即可看到相机参数，在命令行输入cameraParams.IntrinsicMatrix可得到内参矩阵和径向畸变

2.4 结果分析

1. 对于双目标定数据，
   通常只需要得到：
   相机内参：Intrinsic Matrix；
   畸变：径向畸变+切向畸变；[k1,k2,k3,p1,p2]
   重投影平均误差；
   相机外参：旋转矩阵33 +平移向量31
2. 通过张正友的方法，我们只需要一个标版，通过不同角度的拍照就能直接过的相机的内参和畸变系数。
3. 相机标定的目的是获得内参和外参矩阵。