| 双目深度估计 | 您所在的位置：网站首页 › 深度相机怎么获取深度图 › 双目深度估计 |
双目深度估计
|
双目深度估计——视差到深度的两种推导方法
文章目录
双目深度估计——视差到深度的两种推导方法0. 基本假设1. 几何法（直观）2. 相机参数推导法3. 总结
0. 基本假设
假设双目系统是标准形式，即： 两相机内参数相同，即焦距、分辨率等参数一致；两相机光轴平行；成像平面处于同一水平线；假设以左相机坐标系为主坐标系，也就是说两相机只存在X轴方向上的平移变换。 1. 几何法（直观）
设上面的所有长度的单位为m 由上图标准双目立体系统俯视图所示， O L O_{L} OL、 O R O_{R} OR分别为左右相机光心， b b b为两相机基线长度， P P P为空间中的一点， P L P_{L} PL、 P R P_{R} PR分别为 P P P在左右相机成像平面上的像点， f f f为相机的焦距。由 △ O L A P ∼ △ O L C P L \bigtriangleup O_{L}AP \sim \bigtriangleup O_{L}CP_{L} △OLAP∼△OLCPL和 △ O R B P ∼ △ O R D P R \bigtriangleup O_{R}BP \sim \bigtriangleup O_{R}DP_{R} △ORBP∼△ORDPR可得： Z f = P A x L − x C = P B x D − x R = P A + P B x L − x R + ( x D − x C ) = b d + ( x D − x C ) \frac{Z}{f}=\frac{PA}{x_{L}-x_{C}}=\frac{PB}{x_{D}-x_{R}}=\frac{PA+PB}{x_{L}-x_{R}+(x_{D}-x_{C})}=\frac{b}{d+(x_{D}-x_{C})} fZ=xL−xCPA=xD−xRPB=xL−xR+(xD−xC)PA+PB=d+(xD−xC)b进而得到： Z = b f d + ( x D − x C ) Z=\frac{bf}{d+(x_{D}-x_{C})} Z=d+(xD−xC)bf，由于两相机参数相等，因此 x D − x C = 0 x_{D}-x_{C}=0 xD−xC=0，故而有： Z = b f d Z=\frac{bf}{d} Z=dbf其中 d = x L − x R d=x_{L}-x_{R} d=xL−xR为对应点的视差值 2. 相机参数推导法由基本假设可以可知，左右相机内参相等，且左右相机只存在X轴方向的平移运动。那么有： 相机内参数： K L = K R = K = [ f x γ u 0 0 f y v 0 0 0 1 ] K_{L}=K_{R}=K=\begin{bmatrix} f_{x}&\gamma&u_{0}\\0&f_{y}&v_{0}\\0&0&1\end{bmatrix} KL=KR=K= fx00γfy0u0v01 ；相机外参数（以右相机到左相机为例）： R R − > L = E R_{R->L}=E RR−>L=E， t R − > L = [ t x t y t z ] = [ b 0 0 ] t_{R->L}=\begin{bmatrix} t_{x}\\t_{y}\\t_{z}\end{bmatrix}=\begin{bmatrix} b\\0\\0\end{bmatrix} tR−>L= txtytz = b00 设： P O L P_{OL} POL、 P O R P_{OR} POR、 P L P_{L} PL、 P R P_{R} PR的坐标分别为 P O L = [ X L Y L Z L ] P_{OL}=\begin{bmatrix} X_{L}\\Y_{L}\\Z_{L}\end{bmatrix} POL= XLYLZL 、 P O R = [ X R Y R Z R ] P_{OR}=\begin{bmatrix} X_{R}\\Y_{R}\\Z_{R}\end{bmatrix} POR= XRYRZR 、 P L = [ u L v L 1 ] P_{L}=\begin{bmatrix} u_{L}\\v_{L}\\1\end{bmatrix} PL= uLvL1 、 P R = [ u R v R 1 ] P_{R}=\begin{bmatrix} u_{R}\\v_{R}\\1\end{bmatrix} PR= uRvR1 ；P O L , P O R P_{OL},P_{OR} POL,POR为左右相机坐标系下的P点坐标， P L P_{L} PL和 P R P_{R} PR为像素坐标，相机内外参详解请参考相机模型 根据小孔成像模型，有： P L = [ u L v L 1 ] = K L 1 Z L P O L = K L 1 Z L [ X L Y L Z L ] P_{L}=\begin{bmatrix} u_{L}\\v_{L}\\1\end{bmatrix}=K_{L}\frac{1}{Z_{L}}P_{OL}=K_{L}\frac{1}{Z_{L}}\begin{bmatrix} X_{L}\\Y_{L}\\Z_{L}\end{bmatrix} PL= uLvL1 =KLZL1POL=KLZL1 XLYLZL P R = [ u R v R 1 ] = K R 1 Z R P O R = K R 1 Z R [ X R Y R Z R ] P_{R}=\begin{bmatrix} u_{R}\\v_{R}\\1\end{bmatrix}=K_{R}\frac{1}{Z_{R}}P_{OR}=K_{R}\frac{1}{Z_{R}}\begin{bmatrix} X_{R}\\Y_{R}\\Z_{R}\end{bmatrix} PR= uRvR1 =KRZR1POR=KRZR1 XRYRZR P O L = R R − > L P O R + t R − > L = E P O R + t R − > L = P O R + [ b 0 0 ] P_{OL}=R_{R->L}P_{OR}+t_{R->L}=EP_{OR}+t_{R->L}=P_{OR}+\begin{bmatrix} b\\0\\0\end{bmatrix} POL=RR−>LPOR+tR−>L=EPOR+tR−>L=POR+ b00 联立上面三个等式可以得到： P L − P R = [ u L − u R v L − v R 0 ] = K 1 Z [ b 0 0 ] P_{L}-P_{R}=\begin{bmatrix} u_{L}-u_{R}\\v_{L}-v_{R}\\0\end{bmatrix}=K\frac{1}{Z}\begin{bmatrix} b\\0\\0\end{bmatrix} PL−PR= uL−uRvL−vR0 =KZ1 b00 由左右相机成像平面在同一水平线上，那么v坐标相等，即 v L − v R = 0 v_{L}-v_{R}=0 vL−vR=0； 左右相机内参相等，都为 K = [ f x γ u 0 0 f y v 0 0 0 1 ] K=\begin{bmatrix} f_{x}&\gamma&u_{0}\\0&f_{y}&v_{0}\\0&0&1\end{bmatrix} K= fx00γfy0u0v01 ； Z L = Z R = Z Z_{L}=Z_{R}=Z ZL=ZR=Z。 展开得： [ u L − u R 0 0 ] = [ f x γ u 0 0 f y v 0 0 0 1 ] 1 Z [ b 0 0 ] = [ b f x Z 0 0 ] \begin{bmatrix} u_{L}-u_{R}\\0\\0\end{bmatrix}=\begin{bmatrix} f_{x}&\gamma&u_{0}\\0&f_{y}&v_{0}\\0&0&1\end{bmatrix}\frac{1}{Z}\begin{bmatrix} b\\0\\0\end{bmatrix}=\begin{bmatrix} \frac{bf_{x}}{Z}\\0\\0\end{bmatrix} uL−uR00 = fx00γfy0u0v01 Z1 b00 = Zbfx00 ；设 d = u L − u R d=u_{L}-u_{R} d=uL−uR，有: Z = b f x d Z=\frac{bf_{x}}{d} Z=dbfx注意，这里的单位并不一致，视差 d d d的单位是像素，基线 b b b的单位为m， f x f_{x} fx的单位为像素，请参考相机模型 3. 总结几何法推导更加直观，可以帮助我们快速理解双目获取深度的原理； 相机参数推导法可以进一步加深我们对相机参数的理解，进一理解深度获取的本质问题。 |
【本文地址】