3dContactPointAnnotationTool开发日志(三二)
今天就是看怎么把论文的python源码预测出来的smpl模型的姿势和形状参数弄到unity版本的smpl里,但是python版本的和unity版本的不一样。
先看看他的fit_3d.py:
里面的params参数,也就是输出到.pkl文件的内容,包含四个属性:cam_t、f、pose、betas,分别是相机位置、焦距、姿势和形状参数,前两个暂时先无视,先把后两个比较重要的参数弄好。
用cpickle(python2)看看这两个参数:
with open(img_path,"r") as readFile:
a=pickle.load(readFile)
with open(out_path, 'w') as outf:
print >> outf,a['cam_t'],
print >> outf,a['f'],
print >> outf,a['pose']
print >> outf,a['betas']
可以发现pose有72个参数,shape有10个参数,想一下smpl刚好有23个关节点+1([SMPL: A Skinned Multi-Person Linear Model](http://files.is.tue.mpg.de/black/papers/SMPL2015.pdf)里是这么说的,虽然我一直想把它当成24个关节点),并且在unity版本的smpl中的SMPLModifyBones.cs脚本里有这一段代码:
```
_boneNameToJointIndex = new Dictionary();
_boneNameToJointIndex.Add("Pelvis", 0);
_boneNameToJointIndex.Add("L_Hip", 1);
_boneNameToJointIndex.Add("R_Hip", 2);
_boneNameToJointIndex.Add("Spine1", 3);
_boneNameToJointIndex.Add("L_Knee", 4);
_boneNameToJointIndex.Add("R_Knee", 5);
_boneNameToJointIndex.Add("Spine2", 6);
_boneNameToJointIndex.Add("L_Ankle", 7);
_boneNameToJointIndex.Add("R_Ankle", 8);
_boneNameToJointIndex.Add("Spine3", 9);
_boneNameToJointIndex.Add("L_Foot", 10);
_boneNameToJointIndex.Add("R_Foot", 11);
_boneNameToJointIndex.Add("Neck", 12);
_boneNameToJointIndex.Add("L_Collar", 13);
_boneNameToJointIndex.Add("R_Collar", 14);
_boneNameToJointIndex.Add("Head", 15);
_boneNameToJointIndex.Add("L_Shoulder", 16);
_boneNameToJointIndex.Add("R_Shoulder", 17);
_boneNameToJointIndex.Add("L_Elbow", 18);
_boneNameToJointIndex.Add("R_Elbow", 19);
_boneNameToJointIndex.Add("L_Wrist", 20);
_boneNameToJointIndex.Add("R_Wrist", 21);
_boneNameToJointIndex.Add("L_Hand", 22);
_boneNameToJointIndex.Add("R_Hand", 23);
  也就是说姿势中每连续的三个值代表一个结点的旋转角,而这个旋转角是localRotation,相对于它父亲的旋转角,SMPL: A Skinned Multi-Person Linear Model这篇文章里也有提及:
<img src="https://i.loli.net/2019/01/15/5c3d93f1c4aa2.png" alt="3.png" title="3.png" />
  那么只需要按照这个顺序将pose参数导入到unity的smpl模型里就行了吧。我按照SMPLModifyBones.cs的updateBoneAngles函数仿写了以下代码看看效果:
public void SetParam(GameObject model,List poseParam, List shapeParam)//设置pose和shape参数
{
var smr = model.GetComponent();
var _bones = smr.bones;
var _boneNamePrefix = "";
foreach (Transform bone in _bones)
{
if (bone.name.EndsWith("root"))
{
int index = bone.name.IndexOf("root");
_boneNamePrefix = bone.name.Substring(0, index);
break;
}
}
foreach (var bone in _bones)
{
string boneName = bone.name;
boneName = boneName.Replace(_boneNamePrefix, "");
int id;
if (_boneNameToJointIndex.TryGetValue(boneName,out id))
{
bone.transform.localRotation = Quaternion.Euler(new Vector3(poseParam[id * 3], poseParam[id * 3 + 1], poseParam[id * 3 + 2]));
//bone.transform.rotation = Quaternion.Euler(new Vector3(poseParam[id * 3], poseParam[id * 3 + 1], poseParam[id * 3 + 2]));
}
}
float _shapeBlendsScale = 5.0f;
for (int i = 0; i < 10; i++)
{
float pos, neg;
float beta = shapeParam[i] / _shapeBlendsScale;
if (beta >= 0)
{
pos = beta;
neg = 0.0f;
}
else
{
pos = 0.0f;
neg = -beta;
}
smr.SetBlendShapeWeight(i * 2 + 0, pos * 100.0f); // map [0, 1] space to [0, 100]
smr.SetBlendShapeWeight(i * 2 + 1, neg * 100.0f); // map [0, 1] space to [0, 100]
}
}
  对于下面这张图,明显不对:
<img src="https://i.loli.net/2019/01/15/5c3d9552f145e.jpg" alt="4.jpg" title="4.jpg" style="zoom:180%"/>
<img src="https://i.loli.net/2019/01/15/5c3d95531b648.png" alt="5.png" title="5.png" style="zoom:80%"/>
  smpl_python版的生成效果如下,就是个obj文件我直接导入进去了,想获得obj文件就改一下python版的smpl文件夹里的hello_smpl.py中的pose和shape即可。
<img src="https://i.loli.net/2019/01/15/5c3d96a651086.png" alt="6.png" title="6.png" style="zoom:80%"/>
  但是smpl的python代码里或者根据图像生成人物模型的源代码里压根没有类似的关于关节点的定义。
  瞎试了半天,最后发现如果只看脚的话貌似左右脚的姿势刚好反了,于是我就把代码里的L和R互换位置看看:
_boneNameToJointIndex.Add("Pelvis", 0);
_boneNameToJointIndex.Add("R_Hip", 1);
_boneNameToJointIndex.Add("L_Hip", 2);
_boneNameToJointIndex.Add("Spine1", 3);
_boneNameToJointIndex.Add("R_Knee", 4);
_boneNameToJointIndex.Add("L_Knee", 5);
_boneNameToJointIndex.Add("Spine2", 6);
_boneNameToJointIndex.Add("R_Ankle", 7);
_boneNameToJointIndex.Add("L_Ankle", 8);
_boneNameToJointIndex.Add("Spine3", 9);
_boneNameToJointIndex.Add("R_Foot", 10);
_boneNameToJointIndex.Add("L_Foot", 11);
_boneNameToJointIndex.Add("Neck", 12);
_boneNameToJointIndex.Add("R_Collar", 13);
_boneNameToJointIndex.Add("L_Collar", 14);
_boneNameToJointIndex.Add("Head", 15);
_boneNameToJointIndex.Add("R_Shoulder", 16);
_boneNameToJointIndex.Add("L_Shoulder", 17);
_boneNameToJointIndex.Add("R_Elbow", 18);
_boneNameToJointIndex.Add("L_Elbow", 19);
_boneNameToJointIndex.Add("R_Wrist", 20);
_boneNameToJointIndex.Add("L_Wrist", 21);
_boneNameToJointIndex.Add("R_Hand", 22);
_boneNameToJointIndex.Add("L_Hand", 23);
  看上去正常了一点,虽然还有点差距,但是对于用来做初始化而言感觉差不多了,之后就手动调各个关节的旋转角度即可。
<img src="https://i.loli.net/2019/01/15/5c3d976600886.png" alt="7.png" title="7.png" style="zoom:80%"/>
<img src="https://i.loli.net/2019/01/15/5c3d9765f23a2.png" alt="8.png" title="8.png" style="zoom:80%"/>
<img src="https://i.loli.net/2019/01/15/5c3d9875845c7.png" alt="9.png" title="9.png" style="zoom:80%"/>
  然后老师还说把人和物体交互的图像作为背景能更加方便用户标注,于是我查了一下发现可以用这个方法[Unity项目使用静态图片做背景](https://segmentfault.com/a/1190000008505014)。效果如下:
<img src="https://i.loli.net/2019/01/15/5c3da1798b117.png" alt="10.png" title="10.png" style="zoom:80%"/>
3dContactPointAnnotationTool开发日志(三二)的更多相关文章
- 3dContactPointAnnotationTool开发日志(二九)
今天想着在Windows平台上跑通那个代码,不过它的官网上写的支持平台不包括windows,但我还是想试试,因为看他的依赖好像和平台的关系不是特别大. 看了下它的py代码,不知道是py2还是p ...
- 3dContactPointAnnotationTool开发日志(二六)
之前给老师看了看我的毕设,老师觉得操作太复杂了,要能像3ds max里那样可以拖动物体的轴进行平移,沿着显示的圆圈旋转以及缩放啥的.说白了就是在Unity3d的Game视图显示出Scene视图里的 ...
- 3dContactPointAnnotationTool开发日志(二五)
记录一下当前进度:
- 3dContactPointAnnotationTool开发日志(二四)
添加了清空2d接触点的按钮,将输出的2d接触点的单位变成了像素,原点在图像的左下角. 对于obj文件的适配更加多样化了.
- 3dContactPointAnnotationTool开发日志(二二)
昨天是实现了显示GameObject子GameObject的选项卡功能,今天就是要让statusPanel可以控制它们的位置.旋转和缩放了. 没什么难的,对应选项卡绑定上对应的物体或子物体即可 ...
- 3dContactPointAnnotationTool开发日志(二一)
今天完成了修改按钮颜色,添加smpl模型到工具,以及可以显示物体子物体对应选项卡的功能.把之前的meshRenderer+meshFilter都改成了skinnedMeshRenderer,因为s ...
- 3dContactPointAnnotationTool开发日志(二十)
为了使工具更人性化,我又在每个status的text上绑了个可以拖拽实现值改变的脚本,但是不知道为啥rotx那个值越过+-90范围后连续修改就会产生抖动的现象,试了很多方法也没能弄好,不过实际用起 ...
- 3dContactPointAnnotationTool开发日志(二)
今天看的时候发现其实www的方式是可以根据指定路径读取本地图片到Image中的.也就是昨天提到的第二种方式. 随便选了个图片做示范: 修改后的代码如下: using System.Collec ...
- 3dContactPointAnnotationTool开发日志(三十)
在vs2017里生成opencv时遇到了无法打开python27_d.lib的问题,具体解决请看这个,不过我用的是方法2,python37_d.lib找不到同理. Windows下可以用的op ...
随机推荐
- Pyhton-类(2)
·类(2) @ 继承(inheritance) 什么是继承: B继承A:A是父类(超类),B是子类(基类).继承可以实现代码重复利用,实现属性和方法继承. 继承可以使子类拥有父类的属性和方法,也可以重 ...
- golang基础--strcut结构体
结构体struct类似python语言中的类class,结构体类的元素可以是一个变量,或者函数或者其它的类型,好比python的属性和方法. // struct结构体,类似python语言中的clas ...
- Postgresql HStore 插件试用小结
一, 安装 环境介绍:官方说postgresql 9.3 版本之后支持HStore 插件,目前最新版本10.3 本次测试版本:10.1 或 9.6.2 进入psql 运行环境,使用管理员(高级 ...
- 版本控制工具(上)——Git的基本使用
一.Git简介 git是什么? Git是一个开源的分布式版本控制系统,可以有效.高速的处理从很小到非常大的项目版本管理.[2] Git 是 Linus Torvalds 为了帮助管理 Linux 内 ...
- 20170531 课堂实践 MyOD
MyOD 题目 编写MyOD.java 用java MyOD XXX实现Linux下od -tx -tc XXX的功能 Linux下od功能详解 od(octal dump)命令可以以八进制.十进制. ...
- 20155306 2016-2017-2 《Java程序设计》第1周学习总结
20155306 2006-2007-2 <Java程序设计>第1周学习总结 教材学习内容总结 第一章 Java有三大平台:Java EE, Java SE, Java ME Java S ...
- swift3.0通过响应链获取当前试图的控制器
func parentViewController() -> UIViewController? { let n = next while n != nil { let controller = ...
- day1 post验证登录
用post方式模拟 1.登录抽屉网 2.登录代码 ,URL,Form Data 中的信息写入 # coding=utf-8 #post 登录验证 import requests form_data = ...
- 【LG2183】[国家集训队]礼物
[LG2183][国家集训队]礼物 题面 洛谷 题解 插曲:不知道为什么,一看到这个题目,我就想到了这个人... 如果不是有\(exLucas\),这题就是\(sb\)题... 首先,若\(\sum_ ...
- Zabbix学习之路(四)之Web监控
1.Zabbix监控web服务器访问性能 zabbix 对 web 性能的监控,通过它可以了解 web 站点的可用性以及性能.最终将各项指标绘制到图形中,这样我们可以了解到一个站点的下载速度.响应速度 ...