裁剪处理驱动后视频，如何还原到原图像中？

[zhanghongyong123456]

目的： 驱动一张图像中的头像运动，
预处理：为了效果好进行了裁剪操作（得到关于头像的一部分，其余舍弃），
对预处理图像进行驱动，得到驱动后的视频，
那么如何将驱动后视频放回原图像中。

[harlanhong]

可以参考一下wav2lip。

[zhanghongyong123456]

可以参考一下wav2lip。

我觉得不太一样，就是裁剪的部分被驱动了，那么粘贴回原图像，一部分由于驱动运动，另一部分静止图像不运动，造成中心运动，四周不运动情况

能不能实现整个头部（包括头上戴着的帽子什么的）或者上半身跟着运动的项目实现

[skeletonNN]

请问效果如何？

[milely]

同问效果如何呢，是不是得换用其他数据进行训练呢

[hnsywangxin]

@zhanghongyong123456 请问该问题解决了吗，能否提供一些思路，最近也碰到了这样的问题

[zhanghongyong123456]

@zhanghongyong123456 请问该问题解决了吗，能否提供一些思路，最近也碰到了这样的问

没有好的解决方法，目前可能实现是，找一些驱动人物运动的项目（https://humanaigc.github.io/animate-anyone/），然后驱动得视频进行讲话。

[hnsywangxin]

@zhanghongyong123456 请问该问题解决了吗，能否提供一些思路，最近也碰到了这样的问

没有好的解决方法，目前可能实现是，找一些驱动人物运动的项目（https://humanaigc.github.io/animate-anyone/），然后驱动得视频进行讲话。

感觉heygen和腾讯智影他们做的就好很多，另外我看到synctalk论文中贴的也不错，但是没有参考代码

[harlanhong]

额，我们这个是专注人脸表情模仿的，躯干这个是刚体运动，可能需要多个方法结合

[zhanghongyong123456]

@zhanghongyong123456 请问该问题解决了吗，能否提供一些思路，最近也碰到了这样的问

没有好的解决方法，目前可能实现是，找一些驱动人物运动的项目（https://humanaigc.github.io/animate-anyone/），然后驱动得视频进行讲话。

感觉heygen和腾讯智影他们做的就好很多，另外我看到synctalk论文中贴的也不错，但是没有参考代码

@hnsywangxin 你可以问一下大佬有没有可参考的开源项目实现，我没找到好的实现

[hnsywangxin]

@zhanghongyong123456 我这两天在研究，有成果了可以交流交流

[zhanghongyong123456]

@zhanghongyong123456我这两天在研究，有成果了可以交流交流

好的

[zhanghongyong123456]

@zhanghongyong123456 我这两天在研究，有成果了可以交流交流

https://humanaigc.github.io/emote-portrait-alive/ 新的作品，感觉效果很好哎

[hnsywangxin]

https://humanaigc.github.io/emote-portrait-alive/

看demo挺好，就是没开源，另外可以看看我另一个issue:yerfor/GeneFacePlusPlus#81

[jinqinn]

@hnsywangxin 请问有好的解决方案吗

[fg1813042793]

将脸部或者加颈步贴回去时，如果原始视频中有摆头动作，会有重复部分，这个你们有解决方法吗，如果提前修改原始帧中贴合部分中的一些像素确实能做到，但是无法找到合适 的算法来重置原始图片中贴合部分的像素