1. 为什么需要转换COLMAP到MVSNet格式
在三维重建领域，COLMAP和MVSNet是两个经常被同时使用的工具。COLMAP作为经典的SfM（Structure from Motion）工具，能够从图像序列中恢复相机位姿和场景结构；而MVSNet则是基于深度学习的多视图立体匹配算法，需要特定格式的相机参数作为输入。
我在实际项目中多次遇到这样的场景：用COLMAP完成了稀疏重建后，想把结果导入MVSNet进行稠密重建，却发现两者的坐标系定义和参数存储格式存在差异。这种差异如果不处理，会导致重建出的模型出现严重的错位问题。
2. 理解两种格式的差异
2.1 COLMAP的相机参数格式
COLMAP输出的相机位姿通常存储在images.txt文件中，每行包含以下关键信息：
code复制IMAGE_ID, QW, QX, QY, QZ, TX, TY, TZ, CAMERA_ID, NAME
其中：
- QW,QX,QY,QZ是表示相机旋转的四元数
- TX,TY,TZ是相机的平移向量
- 坐标系定义遵循计算机视觉惯例：x向右，y向下，z向前
2.2 MVSNet需要的参数格式
MVSNet期望的相机参数是一个包含内参和外参的字典，关键参数包括：
python复制{
'K': 3x3内参矩阵,
'R': 3x3旋转矩阵,
'T': 3x1平移向量,
'depth_min': 最近深度,
'depth_max': 最远深度
}
其坐标系定义与COLMAP不同：x向右，y向上，z向后（OpenGL风格）
3. 转换过程详解
3.1 四元数到旋转矩阵的转换
首先需要将COLMAP的四元数转换为旋转矩阵。转换公式如下：
python复制def quaternion_to_rotation(q):
""" 将四元数转换为旋转矩阵 """
q = q / np.linalg.norm(q) # 归一化
w, x, y, z = q
R = np.array([
[1-2*y*y-2*z*z, 2*x*y-2*z*w, 2*x*z+2*y*w],
[2*x*y+2*z*w, 1-2*x*x-2*z*z, 2*y*z-2*x*w],
[2*x*z-2*y*w, 2*y*z+2*x*w, 1-2*x*x-2*y*y]
])
return R
3.2 坐标系转换
由于两个系统坐标系定义不同，需要进行坐标系转换：
- 旋转矩阵：需要绕x轴旋转180度
- 平移向量：y和z分量需要取反
对应的转换矩阵为：
python复制T_cv_to_gl = np.array([
[1, 0, 0],
[0, -1, 0],
[0, 0, -1]
])
转换后的旋转矩阵和平移向量计算如下：
python复制R_mvsnet = T_cv_to_gl @ R_colmap
t_mvsnet = T_cv_to_gl @ t_colmap
3.3 内参矩阵处理
COLMAP的内参通常存储在cameras.txt中，格式为：
code复制CAMERA_ID, MODEL, WIDTH, HEIGHT, PARAMS[]
对于针孔相机模型(PINHOLE)，PARAMS包含fx, fy, cx, cy。
需要将其转换为MVSNet需要的3x3矩阵：
python复制K = np.array([
[fx, 0, cx],
[ 0, fy, cy],
[ 0, 0, 1]
])
4. 完整转换代码实现
以下是完整的Python实现：
python复制import numpy as np
from collections import defaultdict
def convert_colmap_to_mvsnet(images_path, cameras_path, output_path):
# 读取相机参数
cameras = {}
with open(cameras_path, 'r') as f:
for line in f:
if line.startswith('#'):
continue
parts = line.strip().split()
cam_id = int(parts[0])
model = parts[1]
width, height = int(parts[2]), int(parts[3])
params = list(map(float, parts[4:]))
if model == 'PINHOLE':
fx, fy, cx, cy = params
K = np.array([
[fx, 0, cx],
[0, fy, cy],
[0, 0, 1]
])
cameras[cam_id] = {'K': K, 'width': width, 'height': height}
# 坐标系转换矩阵
T_cv_to_gl = np.array([
[1, 0, 0],
[0, -1, 0],
[0, 0, -1]
])
# 读取图像位姿并转换
mvsnet_cams = {}
with open(images_path, 'r') as f:
for line in f:
if line.startswith('#'):
continue
parts = line.strip().split()
if len(parts) < 10:
continue
img_id = int(parts[0])
qw, qx, qy, qz = map(float, parts[1:5])
tx, ty, tz = map(float, parts[5:8])
cam_id = int(parts[8])
img_name = parts[9]
# 四元数转旋转矩阵
R = quaternion_to_rotation(np.array([qw, qx, qy, qz]))
t = np.array([tx, ty, tz])
# 坐标系转换
R_mvs = T_cv_to_gl @ R
t_mvs = T_cv_to_gl @ t
# 保存结果
mvsnet_cams[img_name] = {
'K': cameras[cam_id]['K'],
'R': R_mvs,
'T': t_mvs.reshape(3,1),
'width': cameras[cam_id]['width'],
'height': cameras[cam_id]['height']
}
# 保存为MVSNet格式
save_mvsnet_format(mvsnet_cams, output_path)
5. 验证转换结果
转换完成后，建议通过以下方式验证结果：
-
重投影误差检查：
- 选择几个特征点，分别用原始COLMAP参数和转换后的参数计算其在图像上的投影位置
- 比较两者的差异，理想情况下应该完全相同
-
Open3D可视化：
python复制import open3d as o3d
def visualize_cameras(Rs, ts):
coord_frame = o3d.geometry.TriangleMesh.create_coordinate_frame(size=0.5)
geometries = [coord_frame]
for R, t in zip(Rs, ts):
cam = o3d.geometry.TriangleMesh.create_coordinate_frame(size=0.2)
cam.rotate(R, center=(0,0,0))
cam.translate(t)
geometries.append(cam)
o3d.visualization.draw_geometries(geometries)
6. 常见问题与解决方案
6.1 模型上下颠倒
现象：转换后的模型在MVSNet中上下颠倒
原因：坐标系转换时漏掉了y轴取反
解决：检查T_cv_to_gl矩阵是否正确定义
6.2 深度范围异常
现象：重建结果只有部分可见
原因：depth_min和depth_max设置不合理
解决：
python复制# 根据点云计算合理深度范围
points = # 从COLMAP读取的点云
depths = np.linalg.norm(points - t_mvs, axis=1)
depth_min = np.percentile(depths, 5)
depth_max = np.percentile(depths, 95)
6.3 内参不匹配
现象：重建结果扭曲变形
原因：相机模型不是PINHOLE或参数顺序错误
解决：检查cameras.txt中的相机模型，支持的类型包括：
- PINHOLE: fx, fy, cx, cy
- SIMPLE_PINHOLE: f, cx, cy
- RADIAL: f, cx, cy, k1, k2
7. 性能优化技巧
-
批量处理加速：
- 使用多进程处理大量图像
- 对四元数转矩阵等操作使用numpy向量化计算
-
内存优化：
- 对于超大场景，分块处理图像数据
- 使用迭代器而不是一次性加载所有数据
-
并行验证：
- 在转换过程中实时检查重投影误差
- 对异常图像立即报警而不是全部转换完才发现问题
在实际项目中，我通常会先对小规模数据（10-20张图像）进行完整流程测试，确认转换正确后再处理整个数据集。这样可以避免大规模数据处理完成后才发现格式问题，节省大量调试时间。