虚拟视点demo

2019年7月16日15:55:11

感觉虚拟视点也是视觉slam里头一个重要的需求和应该实现的功能，但是好像

没看到什么资料。

百度的全景地图，或者有些公司网站上的3d装修效果图，可以用鼠标拖动查看不同视角，但是

图片看起来很奇怪，那不是虚拟视点，只是对图片做了变换。

虚拟视点的一些资料：

https://www.cnblogs.com/riddick/p/8511960.html

https://www.zhihu.com/question/40793359/answer/130155294

其他有点关联的方向：

https://zhuanlan.zhihu.com/p/73599241

谷歌也有篇文章把短基线变成长基线的文章，也有点虚拟视点的意思。

这里利用sfmlearner的设施做了个简单的demo：

原始图：

相机沿着Z轴往前移动0.5m，注意红框处和上图的对比，的确是往前移动了，这里没做插值，所以

不是太好看  pose = np.array([0, 0,  -0.5,   0, 0, 0])   # tx, ty, tz,   rx, ry, rz -- [B, 6]  弧度制！！！

下面是pose = np.array([0, -0.5,  0,   0, 0, 0]，相机往下走了，y=-0.5

注意depth图红框处，原本从上往下拍时被桌面或者凳子挡住的部分现在看的到了，但是对应的深度图

在之前的角度是测不到的，相机往下移动之后这部分的深度图就显示为空缺了，对应的color1部分也

是黑色的。

下面是代码：

 # -*- coding: utf-8 -*-
 """
 Created on Tue Jul 16 11:57:48 2019
 
 @author: scj
 
 project test
 
 https://pytorch.org/docs/stable/nn.html?highlight=f%20grid_sample#torch.nn.functional.grid_sample
 
 https://blog.csdn.net/chamber_of_secrets/article/details/83512540
 
 https://blog.csdn.net/houdong1992/article/details/88122682
 
 """
 
 import torch
 
 import numpy as np
 import cv2
 import matplotlib.pyplot as plt
 
 #depth = cv2.imread('/media/scj/work/depth/joinMap/depth/1.pgm', -1)
 depth = cv2.imread('D:\\depth\\joinMap\\depth\\1.pgm', -1)
 depth = depth/1000
 
 depth_copy = depth.copy()
 
 #fig = plt.subplots(1)
 #plt.imshow( depth_copy  )
 #plt.title("depth") 
 
 #color = cv2.imread('/media/scj/work/depth/joinMap/color/1.png')
 color = cv2.imread('D:\\depth\\joinMap\\color\\1.png')
 
 #fig = plt.subplots(1)
 #plt.imshow( cv2.cvtColor(color, cv2.COLOR_BGR2RGB)  )
 #plt.title("color") 
 
 #####################
 fig=plt.figure()
 
 plt.subplot(121)
 plt.imshow(cv2.cvtColor(color, cv2.COLOR_BGR2RGB))
 plt.title("color") 
 
 plt.subplot(122)
 plt.imshow(depth_copy)
 plt.title("depth") 
 
 plt.show()
 
 #####################
 
 #color = np.transpose(color, (2, 0, 1))
 
 # print(depth.shape, color.shape) # (480, 640)  (3, 480, 640)
 
 depth = depth[np.newaxis, :].astype(np.float64)
 depth = torch.from_numpy(depth)
 
 #print(depth.size() ) # torch.Size([1, 480, 640])
 
 cx = 325.5
 cy = 253.5
 fx = 518.0
 fy = 519.0
 
 intrinsics = np.array([
                          [fx, 0, cx],
                          [0, fy, cy],
                          [0,  0,  1],
                          ]).astype(np.float64)
 
 intrinsics = intrinsics[np.newaxis, :]
 
 intrinsics = torch.from_numpy(intrinsics)
 #print( intrinsics.size() ) # (1, 3, 3)
 
 ##########
 from inverse_warp import pixel2cam  # uv2xyz
 
 cam_coords = pixel2cam(depth, intrinsics.inverse() ) 
 
 #print(cam_coords.size() )
 
 xyz1 = cam_coords.detach().numpy().squeeze()
 #print(xyz1.shape)
 #
 #fig = plt.subplots(1)
 #plt.imshow( xyz1[0, :, :]  )
 #plt.title("x")
 #
 #fig = plt.subplots(1)
 #plt.imshow( xyz1[1, :, :]  )
 #plt.title("y")
 #
 #fig = plt.subplots(1)
 #plt.imshow( xyz1[2, :, :]  )
 #plt.title("z") 
 
 #               tx, ty, tz,   rx, ry, rz -- [B, 6]  弧度制！！！
 pose = np.array([0, -0.5,  0,   0, 0, 0]).astype(np.float64)
 pose = pose[np.newaxis, :]
 pose = torch.from_numpy(pose)
 
 from inverse_warp import pose_vec2mat
 pose_mat = pose_vec2mat(pose, rotation_mode='euler')  # [B,3,4]
 
 print(pose_mat)
 
 proj_cam_to_src_pixel = intrinsics @ pose_mat  # [B, 3, 4]  K*T_21
 #print(proj_cam_to_src_pixel)
 
 from inverse_warp import cam2pixel
 # cam2pixel 多传了一个Z出来
 src_pixel_coords, Z2 = cam2pixel(cam_coords,     # XYZ
                             proj_cam_to_src_pixel[:,:,:3],   # R
                             proj_cam_to_src_pixel[:,:,-1:],  # t
                             padding_mode='zeros')    # [B,H,W,2]
 
 print(src_pixel_coords.size() )
 
 uv2 = src_pixel_coords.detach().numpy().squeeze()
 
 #fig = plt.subplots(1)
 #plt.imshow( uv2[:, :, 0]  )
 #plt.title("u2")
 #
 #fig = plt.subplots(1)
 #plt.imshow( uv2[:, :, 1]  )
 #plt.title("v2")
 
 #################
 b = color[:, :, 0]
 g = color[:, :, 1]
 r = color[:, :, 2]
 
 b = b.reshape(307200, 1)
 g = g.reshape(307200, 1)
 r = r.reshape(307200, 1)
 
 u2 = uv2[:, :, 0].reshape(307200, 1)
 v2 = uv2[:, :, 1].reshape(307200, 1)
 
 color1 = np.zeros_like(color)
 
 zz = Z2.detach().numpy().squeeze()  # (307200, )
 
 #zz[133, 182] - depth_copy[133, 182] # 深度的确有变化 相差0.5
 
 depth1 = np.zeros((480, 640))
 
 for i in range(307200):
     uu = u2[i]
     vv = v2[i]
 
     if uu>-1 and uu < 1 and vv>-1 and vv<1:
         xx = int(0.5*(uu+1)*639)
         yy = int(0.5*(vv+1)*479)
 
         color1[yy, xx, 0] = b[i]
         color1[yy, xx, 1] = g[i]
         color1[yy, xx, 2] = r[i]
 
         depth1[yy, xx] = zz[i]
 
 #fig = plt.subplots(1)
 #plt.imshow( cv2.cvtColor(color1, cv2.COLOR_BGR2RGB)  )
 #plt.title("color1")
 #
 #
 #fig = plt.subplots(1)
 #plt.imshow( depth1  )
 #plt.title("depth1") 
 
 fig=plt.figure()
 
 plt.subplot(121)
 plt.imshow(cv2.cvtColor(color1, cv2.COLOR_BGR2RGB))
 plt.title("color1") 
 
 plt.subplot(122)
 plt.imshow(depth1)
 plt.title("depth1") 
 
 plt.show()

当然，上图的效果不行，还要做插值才能好看点。