CN103985121B - 一种水下投影仪结构光标定方法 - Google Patents

Abstract

本发明属于测量技术领域，将提供一种水下投影仪结构光标定方法。包括以下步骤：在至少三个位置拍摄位于同一平面的防水靶标和投射靶标的图像对；在摄像机坐标系下,计算平面法向向量和投射靶标三维坐标，采用单视点模型初步标定投影仪及结构参数，将投射靶标三维坐标转换至投影仪坐标系作为参考值；在投影仪坐标系下，建立投射靶标的入射光线以及折射光线模型，计算投射靶标三维坐标；以计算出的投射靶标三维坐标与参考值之间的距离建立目标函数，对所有参数进行递归优化。本发明考虑投影仪光线从空气介质传播到水介质时发生的折射现象，以及投影仪光轴与防水装置窗口法向向量不平行的情况，能够满足水下投影仪标定需求。

Description

一种水下投影仪结构光标定方法

技术领域

本发明涉及一种水下投影仪结构光标定方法，属于测量技术领域。

背景技术

投影仪与摄像机结合的结构光模式，是视觉测量中一种重要的三维测量方法和技术。其原理是采用投影仪结构光传感器，投影仪根据测量需要主动投射特征，如点阵、光栅条纹、编码格网等等，摄像机捕获的图像包含因物体表面形貌变化而产生形变的投射特征，根据结构光三角测量原理恢复物体表面的三维信息。由于摄像机拍摄的一幅图像可以包含大量特征信息，因此对于近距离的水下三维测量应用，投影仪结构光技术是一种恢复被测物体三维信息的有效手段。

水下投影仪结构光测量环境有别于陆地上的空气介质环境。水下环境作业的投影仪需要固定在密封的防水装置内，通过位于投影仪镜头前的透明窗口向位于水中的被测物体投射特征。由于防水装置的使用，使得被测物体与投影仪图像平面分别位于不同介质中，即被测物体位于水介质中，而投影仪图像平面位于防水装置内的空气介质中，光线从投影仪光心经过窗口平面进入水介质时会产生折射现象。此时，建立在光线沿直线传播基础上的单视点模型已不再适用。

投影仪的投射过程与摄像机的成像过程相反，可以看做逆向的摄像机。由于折射使光线发生了折弯，用单视点模型描述的投影仪光心位置和实际光心位置不一致。Treibitz等在文章“Flat Refractive Geometry.IEEE Transactions on PatternAnalysis and Machine Intelligence,2012,34(1):51-65”分析指出，折射产生的畸变取决于被测物体与摄像机之间的距离，若采用单视点模型或用径向畸变模型表示这种畸变，则会产生较大误差，因此单视点模型不能准确描述水下投影仪投射过程。但该文只考虑了光轴与窗口平面法向向量平行时的情况，当光轴与窗口平面法向向量不平行时，基于该文分析建立模型仍会有偏差。

从上述分析可知，由于防水装置窗口对光线产生的折射效应，以及投影仪光轴与窗口平面法向向量不平行的影响，传统的投影仪单视点模型已不再适用。因此，研究一种适用于水下投影仪结构光视觉测量传感器的模型和标定方法具有重要意义。

发明内容

本发明所要解决的技术问题是：提供一种用于水下投影仪结构光传感器的投影仪参数和结构参数的优化标定方法。

本发明的技术解决方案为：一种水下投影仪标定方法，其特征在于该方法包含以下步骤：

1.1、调整位于水下的投影仪结构光传感器，保证摄像机在测量范围内能够拍摄清晰图像且投影仪在测量范围内能够投射清晰图像，在投影仪和已标定摄像机的公共视场范围内，采用一附有防水靶标的平板，同时投影仪对该平板投射另一靶标，称为投射靶标，调整平板位置，直到两个靶标特征点都位于公共视场范围内；自由移动靶标至少三个位置，每移动一个位置，拍摄含有两个靶标的图像对；

1.2、提取图像中防水靶标特征点的图像坐标，根据已标定摄像机的参数，求取平板所在平面在摄像机坐标系下的法向向量；

1.3、提取图像中投射靶标特征点的图像坐标，利用步骤1.2中求得的法向向量，由摄像机参数和特征点的图像坐标，计算投射靶标投射在平板上的对应空间点位于摄像机坐标系下的三维坐标；

1.4、根据投射靶标在图像坐标，以及步骤1.3中求得的其对应空间点的三维坐标，利用单视点模型初步标定投影仪参数以及投影仪与摄像机之间的结构参数；

1.5、使用步骤1.4中得到的结构参数，将步骤1.2中所求的法向向量表示在投影仪坐标系下；

1.6、在投影仪坐标系下，给定投影仪光心沿光轴方向到防水装置窗口平面的距离初值，建立投影仪图像上每个特征点发出的光线在防水装置中的空气介质传播时光线模型，称为入射光线；

1.7、建立折射光线的单位向量，根据几何约束求解出尺度因子，确定折射光线长度，求解投影仪坐标系下投影靶标特征点的三维坐标；

1.8、将步骤1.3中计算出的三维坐标利用步骤1.4中的结构参数转换至投影仪坐标系下作为参考值；

1.9、给定投影仪光轴相对于窗口平面法向向量之间偏角和转角的初值，以步骤1.7中所述的三维坐标与1.8所述的参考值之间的距离建立目标函数，对投影仪参数和结构参数进行优化，并进行递归优化，即求得的结构参数用于步骤1.5～1.8，直到目标函数值满足设定阈值，阈值根据测量精度要求设定，一般为10^-5至0.1mm。

2、所述的一种水下投影仪标定方法，其特征在于：

2.1、步骤1.1所述的防水靶标为防水材质制成的平面靶标，固定在一平板上，防水靶标厚度与测量距离相比可忽略不计，靶标特征点为平面上的格点，格点之间距离的设计由实际测量距离和摄像机视场等确定，一般为10～100mm；所述的投射靶标，其格点之间的图像坐标距离根据投影仪图像的分辨率确定，一般为10～100像素；

2.2、步骤1.1所述的防水靶标和投射靶标，在摄像机合理使滤光器件如滤光片的前提下，两靶标在平板上所占区域可重叠；当平板在同一位置时，摄像机不使用滤光器件且投影仪不投射靶标时，摄像机拍摄只得到防水靶标图像，当摄像机使用滤光器件且投影仪投射靶标时，该靶标与防水靶标有重叠区域，摄像机拍摄只得到投射靶标图像；

2.3、步骤1.1所述的拍摄含有两个靶标的图像对，其特征在于，当使用滤光器件时，每一个位置拍摄两幅图像，为分别含有防水靶标和投射靶标的图像对。

本发明的优点是：

第一，考虑投影仪在水下作业时光线从防水装置中的空气介质传播至防水装置外的水介质时产生的折射现象，建立了投影仪光线折射模型；

第二，考虑投影仪光轴与防水装置窗口平面法向向量不平行时的情况，以光轴相对于法向向量的偏角和转角描述该现象，并通过优化方法得出两个角度的值；

第三，合理使用滤光器件，采用了可重叠的防水靶标和投射靶标，让两个靶标能够同时尽量占满视场，提高了标定精度。

附图说明

图1是本发明建立的水下投影仪光线折射模型示意图。

图2是水下投影仪光轴与窗口平面法向向量不平行的示意图。

图3是水下投影仪标定方法流程图。

图4是标定水下投影仪使用的靶标位置示意图。

具体实施方式

下面对本发明做进一步详细说明。本发明建立水下投影仪的光线折射模型，对光轴与防水装置窗口平面法向向量存在旋转角度时的投影仪参数和结构参数进行优化标定，实现了高精度的水下投影仪标定。

图1所示为水下投影仪光线折射模型示意图。以投影仪光心为原点建立投影仪坐标系O_p-X_pY_pZ_p，原图像坐标系为o_u-uv，(u₀,v₀)为主点的坐标。以投影仪图像上的主点位置为原点建立图像坐标系o-xy，有x＝u-u₀，y＝v-v₀。定义ox||O_pX_p，oy||O_pY_p。x＝[x,y]^T表示投影仪图像平面上的一点的理想图像坐标，x_d＝[x_d,y_d]^T为实际受到镜头畸变影响的图像坐标。从投影仪图像平面上的点x_d＝[x_d,y_d]^T投射出的光线，经过防水装置窗口平面时发生折射，记入射光线为R_in，折射光线为R_out。用n＝[w₁ -w₂ 0]^T表示投影仪坐标系下窗口平面的单位法向向量，其中w₁和w₂分别表示投影仪光轴相对于窗口平面法向向量之间的偏角和转角，如图2所示，且满足表示光轴与法向向量之间的夹角。窗口平面的法向向量还可以表示为：

式中d表示从投影仪光心沿光轴方向到窗口平面的距离。

假设畸变中心和主点重合，考虑二阶的径向和切向畸变，有如下畸变模型：

$x_d=\left[\begin{array}{c}{x}_d\\ y_d\end{array}\right]=(1+k_1{r}^2+k_2{r}^4)\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}2p_{1}xy+p_2(r^2+2x^2)\\ p_1(r^2+2y^2)+2p_{1}xy\end{array}\right]---\[2\]$

式中k₁，k₂为径向畸变系数，p₁，p₂为切向畸变系数，且有：

$r={\left(\frac{x-u_0}{f_x}\right)}^2+{\left(\frac{y-v_0}{f_y}\right)}^2---\[3\]$

其中f_x和f_y为投影仪镜头焦距在x和y方向上的分量。

如图1所示，从投影仪光心至图像平面上的点(x_d,y_d)发出入射光线R_in，经过折射后光线沿R_out方向继续传播直到与被测物体表面相交于点P(X_p,Y_p,Z_p)。用γ表示入射角，γ'表示折射角，根据折射定律有：

$\left\{\begin{array}{c}cos\mathrm{\γ}={\hat{R}}_{in}\·\hat{n}\\ {\mathrm{sin\γ}}^{\′}=\frac{\sin \mathrm{\γ}}{n_{water}}\end{array}\right.---\[4\]$

式中表示入射光线方向的单位向量，表示窗口平面法向向量的单位向量。入射光线R_in可以表示为：

$R_{in}=k{\left[\begin{array}{ccc}\frac{x_d}{f_x}& \frac{y_d}{f_y}& 1\end{array}\right]}^T---\[5\]$

式中k为一尺度因子。入射光线R_in与窗口平面法向向量n满足：

R_in·n＝1 [6]

将式[1]和[5]代入[6]可以解出尺度因子k。因为防水装置窗口的厚度相比于d可以忽略，则折射光线的单位向量可以表示为：

${\hat{R}}_{out}=m_1\hat{n}+m_2{\hat{R}}_{in}---\[7\]$

其中m₁和m₂为：

$\left\{\begin{array}{c}{m}_1={\mathrm{cos\γ}}^{\′}-m_{2}cos\mathrm{\γ}\\ m_2=\frac{1}{rfn}\end{array}\right.---\[8\]$

其中rfn为水介质的折射率。

折射光线继续传播，与被测物体表面相交于点P，在投影仪坐标系下，点P的坐标可以表示为：

$X_p=\left[\begin{array}{c}{X}_p\\ Y_p\\ Z_p\end{array}\right]=R_{in}+\mathrm{\β}{\hat{R}}_{out}---\[9\]$

上式表示了光线传播的过程，其中β为尺度因子，决定了折射光线的长度，β的值由特征点的折射光线与成像在摄像机图像上像点确定的摄像机光线共同决定。

根据上述模型，水下投影仪的标定包含投影仪参数(焦距、主点坐标、畸变系数、投影仪光心沿光轴方向到窗口平面的距离和投影仪光轴与窗口平面法向向量之间的偏角和转角)以及投影仪与摄像机之间结构参数(旋转和平移关系)的标定，具体步骤如下：

1、利用已经标定好的摄像机，与投影仪组成结构光传感器，即摄像机的焦距、主点坐标和畸变系数已知，摄像机标定方法见Zhang的文章“A Flexible New Technique forCamera Calibration.IEEE Transactions on Pattern Analysis and MachineIntelligence,2000,22(11):1330-1334”。

2、如图4所示，制作红白相间的防水棋盘格靶标(防水靶标)贴在一平板上，该靶标上的特征点即角点间距已知，角点间距的设定由摄像机视场和工作距离共同决定，一般为10～100mm；投影仪投射红黑相间的棋盘格靶标(投射靶标)，该靶标上的角点在投影仪图像坐标系下的坐标已知，记为x_p＝(x_pi，y_pi)，i＝1…，m，角点间距的设定由投影仪图像的分辨率确定，一般为10～100像素。具体的图像采集步骤为：

1)将防水靶标置于摄像机和投影仪公共视场范围内，并尽量占满摄像机视场。打开投影仪投射红黑棋盘格靶标，调整平板位置，直到投射靶标和防水靶标都位于公共视场范围内；

2)将红色滤光纸放在摄像机前方，由于红色滤光纸能将防水靶标中的红色吸收，因此该防水靶标在带有红色滤光纸的摄像机中呈现为统一的背景色。用摄像机采集图像，该图像只含有投射靶标的成像，记为p_i，(i＝1,2,3,…g)；

3)将投影仪关掉，移开红色滤光纸，并采集红白棋盘格防水靶标图像，该图像只含有防水靶标的成像，记为c_i，(i＝1,2,3,…g)；

4)重复进行1)～3)步，直到采集足够的图幅数，需至少采集3对图像。

采用红白棋盘格防水靶标和红黑棋盘格投射靶标为本发明所述合理使用滤光器件的例子之一，任何以类似方式使用滤光器件的标定方式均在保护范围内。

3、提取图像c_i中角点的图像坐标，根据已标定的摄像机，计算图像c_i中平板所在平面在摄像机坐标系下的法向向量计算方法参见Hartley R.I.,Zisserman所著的“Multiple view geometry in computer vision，Cambridge University Press,2004”。

4、提取图像p_i中角点的图像坐标，由摄像机参数和角点的图像坐标确定一条射线，利用该射线和步骤3中求得的平面法向向量，可以求得投射在平板上的投射靶标在摄像机坐标系下的三维坐标

5、根据投射靶标角点的投影仪图像坐标x_p，以及步骤4中求得的其对应的空间点的三维坐标利用单视点模型，初步标定投影仪参数以及投影仪到摄像机之间的结构参数，具体方法参见周富强著“《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002”。

6、使用步骤5中得到的结构参数，表示平板所在平面在投影仪坐标系下的法向向量

$N_i^p=\frac{R^{-1}\·N_i^c}{1-R^{-1}{T}^T\·R\·N_i^c}---\[10\]$

式中结构参数R和T分别为摄像机坐标系到投影仪坐标系的旋转矩阵和平移向量。

7、给定投影仪光心沿光轴方向到窗口平面的距离d初值，例如当投影仪镜头距离窗口平面很近时，可以令d＝0；设定投影仪光轴相对于窗口平面法向向量之间的偏角w₁和转角w₂的初值均为0。利用图像p_i中的角点的图像坐标，由式[1]～式[6]建立每个角点发出的光线在防水装置中的空气介质传播时的光线模型，称为入射光线R_in。

8、根据步骤7中建立的每条入射光线R_in，由式[7]和式[8]建立对应的折射光线的单位向量确定了每个角点所对应的光线轨迹，接下来需要确定式[9]中的尺度因子β，从而确定折射光线在何处与平板相交。

9、根据几何约束有：

${\left[\begin{array}{ccc}{X}_p& Y_p& Z_p\end{array}\right]}^T\·N_i^p=1---\[11\]$

将式[9]代入式[11]，由下式可以求解出尺度因子β。

$\mathrm{\β}=\frac{1-{\left(N_i^p\right)}^T\·{\hat{R}}_{in}}{{\left(N_i^p\right)}^T\·{\hat{R}}_{out}}---\[12\]$

10、将步骤9中求得的尺度因子β代入[9]式，即可求得投影仪坐标系下投影靶标所投射在平板上所对应的空间点的三维坐标X_p。

11、将步骤4中计算出的三维坐标利用步骤6中的结构参数转换至投影仪坐标系下即为

12、将作为参考值，用其与步骤10中所得的三维坐标X_p之间的距离建立目标函数：

$\underset{i=1}{\overset{g}{\Σ}}\underset{j=1}{\overset{m}{\Σ}}||X_p-{\tilde{X}}_p(f_x,f_y,u_0,v_0,d,w_1,w_2,k_1,k_2,p_1,p_2,R,T)||---\[13\]$

以步骤5中标定得到的投影仪参数和结构参数作为优化搜索的初值，畸变系数初值均设为0，其它参数初值参见步骤7。利用Levenberg-Marquardt算法对公式[13]进行非线性优化，将优化取得的结构参数R,T应用于步骤6和步骤11的坐标转换，进行递归搜索参数的最优值，直到目标函数值小于设定的距离误差阈值，阈值根据测量精度要求设置，一般为1E-5至0.1mm。

实施例

采用3500流明的投影仪，分辨率为1024像素×768像素。将投影仪装入防水装置中固定，并与分辨率为1024像素×768像素的光纤摄像机组成结构光传感器。投影仪和摄像机相对位置固定。

制作的防水靶标为红白棋盘格靶标，靶标的角点之间距离为34.75mm。设计的投射靶标为红黑棋盘格靶标，其角点之间的图像距离为64像素。利用本发明所述图像采集方法，将结构光传感器放入实验水池中采集了10组共20张图像。利用本发明所述方法进行投影仪和结构参数标定，结果见表1。表2为参考值三维坐标与利用模型计算得到三维坐标之间的均方根误差。

从表1和表2的数据可以看出，采用本发明提出的水下投影仪标定方法，标定得到的投影仪参数和结构参数结果可靠，该方法的标定精度能够满足水下定性监测和定量测量任务。

表1投影仪结构光传感器标定结果

表2三维坐标的均方根误差

以上所述为本发明的实施例，并非用于限定本发明的保护范围。

Claims (2)

1.一种水下投影仪标定方法，其特征在于该方法包含以下步骤：

1.1、调整位于水下的投影仪结构光传感器，保证摄像机在测量范围内能够拍摄清晰图像且投影仪在测量范围内能够投射清晰图像，在投影仪和已标定摄像机的公共视场范围内，采用一附有防水靶标的平板，同时投影仪对该平板投射另一靶标，称为投射靶标，调整平板位置，直到两个靶标特征点都位于公共视场范围内；自由移动靶标至少三个位置，每移动一个位置，拍摄含有两个靶标的图像对；

1.2、提取图像中防水靶标特征点的图像坐标，根据已标定摄像机的参数，求取平板所在平面在摄像机坐标系下的法向向量；

1.3、提取图像中投射靶标特征点的图像坐标，利用步骤1.2中求得的法向向量，由摄像机参数和特征点的图像坐标，计算投射靶标投射在平板上的对应空间点位于摄像机坐标系下的三维坐标；

1.4、根据投射靶标在图像坐标，以及步骤1.3中求得的其对应空间点的三维坐标，利用单视点模型，对投影仪结构光传感器进行初步标定，标定的参数为投影仪参数以及表示投影仪与摄像机之间刚体变换的结构参数；

1.5、使用步骤1.4中得到的结构参数，将步骤1.2中所求的法向向量表示在投影仪坐标系下；

1.6、在投影仪坐标系下，给定投影仪光心沿光轴方向到防水装置窗口平面的距离初值，建立投影仪图像上每个特征点发出的光线在防水装置中的空气介质传播时光线模型，称为入射光线；

1.7、建立折射光线的单位向量，根据几何约束求解出尺度因子，确定折射光线长度，求解投影仪坐标系下投影靶标特征点的三维坐标；

1.8、将步骤1.3中计算出的三维坐标利用步骤1.4中的结构参数转换至投影仪坐标系下作为参考值；

1.9、给定投影仪光轴相对于窗口平面法向向量之间偏角和转角的初值，以步骤1.7中所述的三维坐标与1.8所述的参考值之间的距离建立目标函数，对投影仪参数和结构参数进行优化，并进行递归优化，即求得的结构参数用于步骤1.5～1.8，直到目标函数值满足设定阈值，阈值根据测量精度要求设定，其范围为10^-5～0.1mm。

2.根据权利要求1所述的一种水下投影仪标定方法，其特征在于：

2.1、步骤1.1所述的防水靶标为防水材质制成的平面靶标，固定在一平板上，防水靶标厚度与测量距离相比可忽略不计，靶标特征点为平面上的格点，格点之间距离的设计由实际测量距离和摄像机视场确定，其范围为10～100mm；所述的投射靶标，其格点之间的图像坐标距离根据投影仪图像的分辨率确定，其范围为10～100像素；

2.2、步骤1.1所述的防水靶标和投射靶标，在摄像机合理使用滤光器件的前提下，两靶标在平板上所占区域可重叠；当平板在同一位置时，摄像机不使用滤光器件且投影仪不投射靶标时，摄像机拍摄只得到防水靶标图像，当摄像机使用滤光器件且投影仪投射靶标时，该靶标与防水靶标有重叠区域，摄像机拍摄只得到投射靶标图像；

2.3、步骤1.1所述的拍摄含有两个靶标的图像对，其特征在于，当使用滤光器件时，每一个位置拍摄两幅图像，为分别含有防水靶标和投射靶标的图像对。