系群体鬼畜,只需一张照片就能让它跳舞

2019-07-06 00:03栏目:奥门新萄京娱乐场
TAG:

那么,团队处理遮挡的方法是,在表面坐标系里,引入一个图像修复(Impainting) 网络。把这个网络的预测结果,和一个更传统的前馈条件和成模型预测结合起来。

最近,该团队更进一步,发布了基于 DensePose 的一个姿势转换系统:Dense Pose Transfer,仅根据一张输入图像和目标姿势,创造出 “数字化身” 的动画效果。

论文传送门:

在这项工作中,研究者希望仅依赖基于表面(surface-based)的对象表示(object representations),类似于在图形引擎中使用的对象表示,来获得对图像合成过程的更强把握。

但如果单纯基于几何来生成,又会因为DensePose采集数据不够准确,还有图像里的自我遮挡 (比如身体被手臂挡住) ,而显得不那么真实。

具体来说,DensePose 利用深度学习将 2D RPG 图像坐标映射到 3D 人体表面,把一个人分割成许多 UV 贴图(UV 坐标),然后处理密集坐标,实现动态人物的精确定位和姿态估计。

图片 1

图 3:Warping 模块的结果

华为云•普惠AI,让开发充满AI!

图 4:与最先进的 Deformable GAN (DSC) 方法的定性比较。

结果是,结构相似度(Structural Similarity) ,以假乱真度 (Inception Score) 以及检测分 (Detection Score) 这三项指标,Facebook家的算法表现都超过了前辈。

新智元AI WORLD 2018大会倒计时 10

大会将首次发布AI开发框架,从AI模型训练到AI模型部署的全套开发一站式完成!让AI开发触手可及!返回搜狐,查看更多

图片 2

这项研究,是用基于表面的神经合成,是在闭环里渲染一张图像,生成各种新姿势。

DensePose 模型以及数据集已经开源,传送门:

从右边开始,就是生成目标,同样要整合到UV坐标系中。再用损失函数来处理 (上图红字部分) 把结果输入自编码器,帮助模型学习。

原标题:【ECCV 2018】Facebook开发姿态转换模型,只需一张照片就能让它跳舞(视频)

各位请持续期待,DensePose更多鬼畜的应用吧。

作者:

如图 3 所示,在修复过程(inpainting process),可以观察到一个均匀的表面,捕捉了皮肤和贴身衣服的外观,但没有考虑头发、裙子或外衣,因为这些不适合 DensePose的表面模型。

栗子 发自 凹非寺

在这项工作中,我们介绍了一个利用密集人体姿态估计的 two-stream 姿态转换架构。我们已经证明,密集姿势估计对于数据驱动的人体姿势估计而言是一种明显优越的调节信号,并且通过 inpainting 的方法在自然的体表参数化过程中建立姿势转换。在未来的工作中,我们打算进一步探索这种方法在照片级真实图像合成,以及处理更多类别方面的潜力。

虽然,脸部好像烧焦的样子,但已经很鬼畜了。在下不由得想起:

研究者关注的重点是人体。模型建立在最近的 SMPL 模型和 DensePose 系统的基础上,将这两个系统结合在一起,从而能够用完整的表面模型来说明一个人的图像。

这些预测是各自独立进行的,然后再用一个细化模块来优化预测结果。把重构损失对抗损失感知损失结合起来,优势互补,得出最终的生成效果。

图片 3

图片 4

表 1 显示,我们的 pipeline 在结构逼真度(structural fidelity)方面有显著优势。在以IS 作为指标的感知质量方面,我们模型的输出生成具有更高的质量,或可与现有工作相媲美。

当然不能只有DensePose

除了姿势转换的特定问题外,所提出的神经合成与 surface-based 的表示相结合的方法也有希望解决虚拟现实和增强现实的更广泛问题:由于 surface-based 的表示,合成的过程更加透明,也更容易与物理世界连接。未来,姿势转换任务可能对数据集增强、训练伪造检测器等应用很有用。

团队把SMPL多人姿态模型,跟DensePose结合到一起。这样一来,就可以用一个成熟的表面模型来理解一张图片。

来源:ECCV 2018

图片 5

把DensePose的质地纹路,修复一下,还是有明显效果的。

定性结果如图 4 所示。

从输入的源图像开始,先把它的每个像素对应到UV坐标系里。这一步是DensePose驱动的迁移网络完成的。

另外团队用DeepFashion数据集,对比了一下自家算法和其他同行。

责任编辑:

图片 6

图片 7

然后,负责修复图像的自编码器,就来预测照片中人的不同角度会是什么样子。这步预测,也是在扭曲的坐标系里完成的。

【新智元导读】DensePose团队在ECCV 2018发表又一杰作:密集人体姿态转换!这是一个基于DensePose的姿势转换系统,仅根据一张输入图像和目标姿势,生成数字人物的动画效果。

先来看一下,新加入的图像修复步骤,生成的效果:

图片 8

爱上你的代码,爱做 “改变世界”的行动派!

密集人体姿态转换应用

图片 9

图片 10



相比之下,变形模块可以保留高质量的细节和纹理,允许在一个统一的、规范的坐标系中进行修复,并且可以自由地推广到各种各样的身体动作。但是,它是以身体为中心的,而不是以衣服为中心,因此没有考虑头发、衣服和配饰。

版权声明:本文由奥门新萄京娱乐场发布于奥门新萄京娱乐场,转载请注明出处:系群体鬼畜,只需一张照片就能让它跳舞