Neurons字幕组 | 2分钟看AI通过2D照片设计出面部3D模型(附论文下载)

摘要: 听说,给我一张照片,就能还你一部电影?

11-08 19:46 首页 大数据文摘

 时间轴 | 李  晶    翻  译 | 弋  心

校  对 | 云  舟     后期 | Halo 

项目管理 | 大  力 

  编  辑   韩  蕊

Neurons字幕组

第5期作品震撼来袭!


Neurons字幕组源自英文单词Neuron,一个个独立的神经元,汇聚千万,成就了四通八达,传递最in最酷炫信息的神经网络。

来吧,和Neurons一起,玩点不一样的AI!

  

还记得童年的哆啦A梦系列为我们带来的神奇工具“六面相机”吗?当你拍摄物体的时候,获得的不只是物体在一个角度上二维平面的投影,而是6个不同角度的照片。虽然看上去特别不可思议,但仍然限于二维平面的图像。今天的Neurons小视频要介绍的,则是更甚一步的黑科技,用深度神经网络,将二维的人像照片立体化,生成面部的三维模型。


关注大数据文摘公众号,并在后台回复“神经元”,可直接下载本期论文。

▼ 请在WiFi下观看小视频,暂时无法观看的读者可以先收藏,或者下拉直接查看文字版要点,土豪请随意~


想象一下,如果我们能把代表自己的3D人物放进数字电影或者电脑游戏里是多么炫酷!本期的视频就介绍了通过一张简单的照片生成我们面部3D模型的方法。当然,将我们面部的3D几何模型和反照率分布图数字化显然是件极其费时费力的任务。(反照率图指的就是纹理,即一张彩图。它可以描述我们的皮肤是如何反射和吸收光线的)。

从左至右依次是:输入图像、输出反照率图像                

从左至右依次是:渲染、渲染(局部放大)

从左至右依次是:渲染、渲染(局部放大)

显然,捕捉这样一幅图像需要很长时间,而且成本很高。所以,我们开发了这样一种黑科技,这项技术可以用一张简单的照片,生成任何一张脸的全数字化图像。我们甚至可以在数字世界中重现历史人物,而我们需要的,仅仅是一张照片。

从左至右依次是:输入2D图像、输出3D面部纹理图像(穆罕默德 阿里)

拿到一张照片后,这项技术能够生成两张反照率分布图:其中一张是图像完整的低频图,它可以记录下整个面部,但只包含大致细节;而另一张图则包含更多的细节,但它却不完整。大家还记得纹理合成的方法吗?输入非常小的一块具有重复结构的图像,在得知这些结构的统计特性后,就可能让它们无限地继续下去。于是,我们就可以以这张不完整的反照图为基础,尽可能地把缺失的细节合成出来!这篇论文Photorealistic Facial Texture Inference Using Deep Neural Networks的作者借助一种经典的机器学习算法,即卷积神经网络实现了这一点。我们所用的神经网络越深层,就有越多的高频细节出现在输出结果当中,即我们得到的图像就会越清晰。

从左至右分别是逐层叠加五层后形成的愈加清晰的面部效果图

在这篇论文中,你还能看到一份关于使用者研究的详细描述。这份研究是通过众人协作的方式进行的,旨在验证这项技术,包括用户界面和被问到的问题,还有一些与PatchMatch算法的比较。PatchMatch算法是纹理合成领域里程碑式的技术,也被用来修补那些年代久远的名古画。

   从左至右依次是:输入、反照率图像、用PatchMatch算法后、最终效果图  

看了今天的Neurons小视频,有没有大开眼界呢?通过深度神经网络,AI真正帮我们实现了“脑补”,构建出了人脸虚拟的3D模型,虽然这篇文章里的数据只是应用在人脸的照片上,但是对于其他物体和图像,发展出广阔的应用前景也是指日可待的!

特此鸣谢作者:

Shunsuke Saito  Lingyu Wei

Liwen Hu   Koki Nagano   

Hao Li   Pinscreen 

University of Southern California  

USC Institute for Creative Technologies 

论文下载


点击文章右上角关注“大数据文摘”,进入公众号,在后台对话框内回复“神经元”三个字,你将会得到我们送出的大礼包:往期所有Neurons字幕组2分钟小视频系列的原版论文合集!


感谢收看

下期再见


感谢以下同学参与翻译本期视频,最终采纳的版本为弋心的作品:

天空海滩,邓纸寄,田广野

Act.pi ,刷鱼

弋心,阿桂,菠萝Sure


Neurons招募正在开启!

我们已经拿到了一批有趣有料的视频授权,将在第一线直击AI和大数据的发展轨迹。

无论你是曾经在其他字幕组工作过的老司机,还是刚刚接触AI的小白,只要你有时间、有能力、愿分享,Neurons都欢迎你,现在加入,都有机会成为Neurons的元老哦!


我们希望你


  • 一定的英文翻译和听译能力

  • 有责任心、可靠、有耐心

  • 有时间(每周保证至少3小时工作量)

  • 最重要的,有探索AI和数据知识的强烈好奇心!


你可以获得


  • 第一时间接触独家授权视频等学习资料。

  • 视频发布时会上各位志愿者的字和贡献。

  • 有范儿有料科技大会的免费、优惠门票。

  • 优质公司和岗位的内推机会。

  • 和志同道合的小伙伴一起成长的机会。


    字幕组岗位


    1.听译:有较强的听译能力,能准确听写没有字幕的视频中的台词。

    2.翻译:翻译能力强,能按照中文的用语习惯流畅地翻译字幕,需要较强的语言功底和耐心

    3.校对:对翻译的结果进行校对和二次编辑,纠正专有名词、用语上的错误,需要有较强的领域知识和文字经验。

    4.时间轴:需要处理译文和时间的之间的关系,添加字幕持续时间并将译文调整为适合观看的字幕,需要对句子时间点进行准确的把握和判定。

    5.后期、压制:把翻译得出的字幕文件和片源打包压制成可播放的影片文件。需要懂得一定的计算机硬件环境并懂得使用各类压制影片的软件。


    如何申请


    聪明的人已经上车,

    你还在等啥?

    现在扫下方二维码

    「阅读原文」



    填写表单加入Neurons

    我们会在三个工作日内联系您


    志愿者介绍


    回复“志愿者”加入我们

    往期精彩文章

    点击图片阅读

    Neurons字幕组 | 2分钟看强化学习如何优雅地解决地形穿越问题(附论文下载)



    首页 - 大数据文摘 的更多文章: