运动恢复结构问题

运动恢复结构（SFM）是通过一系列的2D图像，来获取图像中场景的3D坐标，从而对3D场景进行重建。
（整体参考鲁鹏老师的课程）

转化为数学问题

已知：

n个3D点X_j在m张图像中的对应点的像素坐标x_ij(i=1,…,m，j=1,…n)；
x_ij=M_iX_j，M_i为第i张图片对应的摄像机的投影矩阵；
求解：
（运动）m个摄像机投影矩阵M_i(i=1,…m)；
（结构）n个三维点的坐标X_j(j=1,…n)；

鲁鹏老师的课程

三种典型的运动恢复结构任务

欧式结构恢复：摄像机内参数已知，外参数未知；
仿射结构恢复：摄像机为仿射相机，内外参数都未知；（较为简单）
透视结构恢复：摄像机为透视相机，内外参数都未知；（较复杂，精准）

欧式结构恢复

数学描述：已知n个3D点X_j在m张图像中的对应点的像素坐标x_ij(i=1,…,m，j=1,…n)；m张图像对应的摄像机的内参数矩阵为K_i(i=1,…,m)，并且x_ij=M_iX_j=K_i[R_i T_i]X_j。求 m个摄像机投影矩阵K_i，R_i，T_i(i=1,…m)和n个三维点的坐标X_j(j=1,…n)。

两视图欧式结构恢复

鲁鹏老师的课程
假设第一个摄像机的坐标系为世界坐标系。
那么第一张图像下的点的像素坐标为x_1j=M₁X_j=K₁[I 0]X_j；
第二张图像下的点的像素坐标为
x_2j=M₂X_j=K₂[R₂ T₂]X_j；

求解：

特征提取、匹配
求基础矩阵F：归一化八点法（不只使用8对点）——①对两幅图像实施变换T（平移或缩放），使得坐标原点位于图像上点的重心，且各个像点到坐标原点的均方距离=2；②分别计算左右两张图的T和T’；③坐标归一化：q_j=Tp_j q‘_j=T‘p’_j；④通过八点法计算基础矩阵F_q；⑤逆归一化：F=T’^TF_qT；
利用基础矩阵F和摄像机内参数求解本质矩阵E: F=K₂^-T [T_×]RK₁^-1 =K₂^–T EK₁^-1→ E=K₂^TFK₁；
注：此时求出的F不一定是真实的F，因为上式代入kF也算成立的；同时无法确定F的符号；所以也无法确定E的符号和尺度。
分解本质矩阵E：E→R、T；
三角化求三维点X_j坐标：求X_j^*，使得其在两个摄像机的像素坐标上的点x_1j^*=M₁X_j^*、x_2j^*=M₂X_j^*与实际的匹配点x_1j、x_2j之间的距离最小，即X_j^*=argmin(d(x_1j^*,x_1j)+d(x_2j^*，x_2j))；

**欧式结构恢复歧义：**恢复出来的欧式结构与真实场景之间相差一个相似变换（旋转、平移、缩放）；恢复的场景与真实场景之间仅存在相似变换的重构称为度量结构。

仿射结构恢复

透视和仿射的区别：
透视：M有11（23+21+13）个参数；像素欧式坐标更复杂，存在分母；
仿射：M有8（14+1*4）个参数；像素欧式坐标更简单，分母计算得1；像素坐标是直接由3维点欧式坐标计算得到，不存在齐次坐标的尺度问题；
鲁鹏老师的课呀
数学描述：已知n个3D点X_j在m张图像中的对应点的像素欧式坐标x_ij(i=1,…,m，j=1,…n)；且x_ij=A_iX_j+b_i，其中A_i，b_i组成了第i张图片对应的仿射摄像机的投影矩阵M_i。求 m个摄像机投影矩阵A_i，b_i(i=1,…m)和n个三维点的坐标X_j(j=1,…n)。