OpenMMD 没有专业摄像设备也能动作捕捉 K帧动作设计苦手的福音~
OpenMMD 没有专业摄像设备也能动作捕捉 K帧动作设计苦手的福音~
首先感谢大佬（们）的开源（整合）项目
（原开源项目的作者是算法工程师一枚，其实也是笔者的同行，想支持的亲们可以去这个项目页面点个star~~）
笔者掐指一算，觉得能点进来看的应该都已经知道MMD（Miku Miku Dance）是神马了吧，就不多做背景介绍了哟~纯路人萌新不妨看看这一篇MMD的发展史：MMD发展史。如果你再问初音是谁的话，请脑补一下笔者这个表情：[不禁对你翻了一个白眼]
2.受众
OpenMMD到底是干啥的？简洁地讲，OpenMMD是一个可以直接分析现成视频（各种MP4, AVI等视频格式），自动生成vmd动作文件的工具；也就是说，你可以随便从网上找一个（或者自己录一个）人类的舞蹈动作视频，然后直接使用这个分析工具就可以生成该舞蹈动作对应的vmd格式的文件了。如果文字没说明白的话，下面这个图应该一目了然吧：（当然了，整个中间流程其实不止关键点检测，还有其他深度学习技术加持的一系列骚操作，就不赘述了，感兴趣可以看下原github页面）
处理流程：从右往左，最终可以生成连贯的vmd动作文件
到此OpenMMD的作用很明白了哈~我觉得受众可以是每一名想自制动作的MMD制作者，因为有了这个神器就可以很轻松的创作融合各种舞蹈了，能够很大程度上简化K帧的编辑过程~不过这里有一点值得说明，这个仅仅是辅助工具而已，至少目前是做不到完美复现原视频的所有动作的，因此想制作出好的视频依旧需要你对k帧去修补美化一番，但是能事先有个大体的骨骼动作摆在那，我想已经是意义非凡的了吧！就算是大佬想必也是乐见其成的~
3.使用方法
3.1 大佬向教程
其实原始github项目已经写的很详细了，英文水平过关并且电脑水平不错的亲们请直接享用：
3.2 小白向教程
咱就假设亲们使用的是windows 10系统了；使用linux系统一般是大佬，俺就不管了；使用苹果系统的话，嘿嘿这个笔者自己也没有用过，因此也就不管了 [摊手]
说在前面：如果遇到了什么教程没有提到的问题，可以翻一翻评论看看有没有类似问题，或者看一看github的issue是否有类似问题以及解决办法；不行就直接来评论/私信找up哈~如果up有时间会尽量来解答的。
前提条件只有两个：
1）下载作者提供的模型文件（代码 + 深度学习模型文件，主要是模型的参数很多，因此文件体积不小，请耐心下载）
2）安装Python环境（Python和C，C++，Java一样是一种计算机语言）
首先是 1）下载模型文件，在往下继续浏览教程之前，你就可以先从下面这个地址上开始下载文件了：(度盘)
1L-TxEsgXD3zRHTAM8YQd7w
提取码：82qe
那么现在开始 2）安装Python环境
windows上安装python相比linux其实相对麻烦，因此建议直接安装Anaconda，地址在此
注意选择正确的系统，比如我们是Windows；并且是左边的Python 3.7 version （不过version选错了其实没问题，后面再说）。一路按提示要求安装好，选择安装路径什么的，应该问题不大，就不赘述了。
安装好了之后，从桌面点击开始 - Anaconda3文件夹 - Anaconda Prompt，打开这个类似终端一样的东西，它大概长这样：
注意啦，从此以后我们就要在这里输入各种命令了~
a）首先，我们来创建一个名叫tensorflow的、使用python3.6版本的虚拟环境（所以说其实最开始下载python3.7版本也无所谓，因为这一步总会创建新的python3.6版本）：直接在终端输入这个指令（每输入完一行指令都要按一下回车键哈~）：
conda create -n tensorflow pip python=3.6
接着，输入这个指令：
activate tensorflow
你会看到此后不管你输入什么，每一行都变成了以（tensorflow）开头，这就证明成功开启了虚拟环境了~
b ）接下来开始安装一些需要的python第三方工具包：继续在刚才启动了虚拟环境的终端里一行一行地输入，每输入完一行按一下回车键：（请先看下面的注意再安装）
conda install h5py
pip install opencv-python
pip install matplotlib==3.0.0（注：最新版的matplotlib貌似会在后续某一步报错，因此限定一下是3.0.0版）
pip install tensorflow==1.13.1（注：tensorflow当前处于飞速迭代更新中，因此姑且限制了版本号1.13.1，其实目前（2019.6.9）的话不加也可以，也就是直接pip install tensorflow）
pip install pyqt5
注意：在使用pip install指令时，可在每一行命令结尾加入 -i
pip install tensorflow==1.13.1 -i
（就是个切换下载源的实用小trick）
另外，后续流程终如果遇到类似No module named xxx的错误信息（xxx是随便一个名字），不用慌张，只需要按上面这样pip install xxx指令，把xxx装上就好了。
安装部分到此结束，下面进入使用部分。在使用前请自行准备一个时间在5秒左右的动作视频作为第一次尝试，时间太长的话一旦出错不方便进行调试。等一切顺利以后我们再按照自己喜好去处理真正的视频。此外，将下载好的好几个G大小的代码+模型文件夹解压缩到一个英文路径，最好就叫做openmmd，注意这个文件夹的名称最好全英文，尤其不要含有空格！！假如叫做openmmd v1.0的话就会报错找不到路径的。。。
还是在开启了虚拟环境的conda终端里（如果重新打开了终端，就需要输入activate tensorflow启用虚拟环境）
接下来的步骤其实非常直白了，按照流程去做就好：
a）用鼠标将OpenposeVideo.bat文件拖到终端界面里，你会看到当前命令行自动显示出了文件路径，直接点回车键就可执行，接着按照提示输入视频文件的路径，然后一路回车键，直到开始启动openpose。（你会看到启动了一个叫做openpose的新程序，它会把视频从头到尾播放一遍顺便进行每一帧的关键点检测）
b）用鼠标将3d-pose-baseline-vmd文件夹下的OpenposeTo3D.bat拖到终端界面，点回车键，输入相应路径（即a步骤输出的、出现在你视频文件旁边的_json文件夹），之后一路回车，等待执行完毕，又会输出一个形如_json_3d_20190515_152335_idx01的文件夹
c）同样的操作，这回是FCRN-DepthPrediction-vmd文件夹里的VideoToDepth.bat，按提示输入路径
d）同样的操作，这回是VMD-3d-pose-baseline-mult目录下的3DToVMD.bat，如果一切顺利，恭喜你，在b）步骤输出的文件夹中，会有一个vmd格式的output，这就是我们所需要的动作文件了！
注0：如果途中报错 xxx module not found 或者 No module named xxx这类错误信息，那就是缺少python对应的库，一般可以直接输入pip install xxx安装一下就可以了
注1：当前源代码版本下，d）步骤一般肯定会报错：unrecognized arguments: -s 1，不过不要慌，只要你删掉3DToVmd.bat文件最后一行里的-s %SMOOTH_TIMES% ，就可以了
注2：如果d）步骤报错：encoding什么的错，或者找不到某个乱码名字的csv文件，那么需要你手动修改下miku的骨骼文件，就是VMD-3d-pose-baseline-mult/born/あにまさ式ミクボーン.csv这个文件，请把它改成一个英文名字，比如miku_bone.csv，之后还需要同步修改下3DToVmd.bat文件的第18行，也是把set MODEL_BONE_CSV=born\あにまさ式ミクボーン.csv里面的日文改成你刚才起的名字（miku_bone.csv），重新运行应该就可以了
接下来就是将该文件导入到MMD里面等正常操作了，这里不再赘述。导入后可以体验下效果。
大功告成~
39!
一些限制：该模型默认只适合我（们）的公主miku殿下的骨骼，其他模型不一定合适，若想针对其他模型，则需要该模型的骨骼文件，也就是说需要你自己生成上面的那个被修改的csv文件，具体笔者就不是很清楚啦
以上就是（OpenMMD 没有专业摄像设备也能动作捕捉 K帧动作设计苦手的福音~）全部内容，收藏起来下次访问不迷路！