记录monodepth2调试过程 您所在的位置:网站首页 java深度调试技术 记录monodepth2调试过程

记录monodepth2调试过程

2023-04-06 11:59| 来源: 网络整理| 查看: 265

stereo training训练

命令行代码

(注意:我使用的数据集位置不一致,所以需要设置数据集的位置)

--model_name stereo_model --frame_ids 0 --use_stereo --split eigen_full --data_path /home/csy_0418/dataset/kitti_data

stereo训练,只放入了当前帧,与它对应的帧l/r进行训练。

eigen_full

train_files---45200 每一张图片有一个编号(frame_index),一个编号对应一个l,r---用来训练stereo training

val_files---1776

1.输入数据的理解

在使用for循环迭代数据的时候,

for batch_idx, inputs in enumerate(self.train_loader):

进入mono_dataset.py的__getitem__函数处理【输入数据】

这里是stereo training,所以它的输入数据如下,为两张对应的rgb图。

记录monodepth2调试过程_读代码

经过处理以后,输入数据变为以下:

一对数据(2)+4(scale)*2(K+inv_K)=10 input

记录monodepth2调试过程_读代码_02

preprocess处理

经过preprocess处理----将彩色图像调整到所需的比例+数据增强处理

因此多了以下多个scale的input数据

记录monodepth2调试过程_读代码_03

记录monodepth2调试过程_读代码_04

然后删除原始大小图片即:( , ,-1)

加入一个depth_gt

记录monodepth2调试过程_读代码_05

总结一下所有的input

记录monodepth2调试过程_读代码_06

记录monodepth2调试过程_读代码_07

K+K逆---4scale*2(k,k逆)=8

color image---4scale*2(0,s)=8

color image augmentation---4scale*2(0,s)=8

depth_gt---1

stereo_T---左右相机之间的变换。---1

共26。

2.process_batch1.输入编码网络encoderfeatures = self.models["encoder"](inputs["color_aug", 0, 0])

输入数据增强过后的图片,当前帧,没缩放,到编码网络,输出此时得到的features。

提取了五层,输出feature(batchsize,channel,height,width)

记录monodepth2调试过程_读代码_08

2.深度解码网络输出output

input_features输入到解码网络

记录monodepth2调试过程_读代码_09

输出output

记录monodepth2调试过程_读代码_10

3.生成扭曲重投影图像self.generate_images_pred(inputs, outputs)主要就是对于网络输出进行后续处理,重投影获得彩色图像现在已经得到了视差图,根据结果去重构原图如何做?

记录monodepth2调试过程_读代码_11

1.通过深度网络输出的output值得到视差值2.将视差值映射到[0.01,10],并求倒数就能得到深度值3.将深度值存放到outputs["depth"...]中4.获取匹配好的两张图片之间的相机变换矩阵stereo_T(利用两幅图片之间的变换矩阵,如图所示)5.将深度图投影成3维点云6.将3维点云投影成二维图像代表重构出来的图像,要对它进行采样,然后与原图像进行对比,计算loss7.对二维图像进行采样??????

有点问题没有解决

记录monodepth2调试过程_读代码_12

8.auto-masking设置

处理结束后,output变为以下

记录monodepth2调试过程_读代码_13

4.计算损失

计算重投影损失+平滑损失

记录monodepth2调试过程_读代码_14

loss结果

记录monodepth2调试过程_读代码_15

mono training训练

命令行代码

(注意:我使用的数据集位置不一致,所以需要设置数据集的位置)

--model_name mono_model --frame_ids 0 -1 1 --split eigen_full --data_path /home/csy_0418/dataset/kitti_data

stereo训练,只放入了当前帧,与它对应的帧l/r进行训练。

1.输入数据的理解



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有