首页 科技正文

allbet6.com:告辞渣画质,视频会议带宽降90%,英伟达公然Maxine服务背后主要手艺

约稿员 科技 2020-12-05 14:53:57 18 0

机械之心报道

,

欧博官网

www.allbetgame.us欢迎进入欧博官网(Allbet Game),欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。

作者:魔王、蛋酱
10 月初,英伟达推出了一项 AI 视频集会服务 Maxine,使用了 AI 来提升分辨率、降低背景噪声、压缩视频、对齐人脸以及执行实时翻译和转录。最近,英伟达团队公布的新论文揭露了这背后的手艺。

若是让打工人用几个要害词总结 2020 年的生涯,「视频集会」应该是其中一个。
受疫情影响,这一年来,远程办公和视频集会正在成为新的潮水。在忍受集会死板的同时,很多人迷上了 AI 换脸,期望能够实现「一边开会,一边摸鱼」的梦想。此前机械之心也先容过 Avatarify 这样的热门项目。
只是…… 效果不一定很理想:


给出一个人的源图像,和一个人的动作视频(此处称为驱动视频 (driving video),动作视频和源图像中的人物可以一致或不一致),若何合成真切的语言者头部视频,即将源图像中的头像与驱动视频中的动作合二为一。源图像编码目的人物的外观,驱动视频决议输出视频中的人物动作。
最近,针对这一义务, 英伟达提出了一种纯神经式的渲染方式,即不使用人物头部的 3D 图模子,只使用在 one-shot 设置下训练而成的深度网络,举行语言者头部视频的渲染。


论文链接: https://arxiv.org/pdf/2011.15126.pdf
与 3D 图模子相比,基于 2D 的方式具备多项优势:首先,避免了繁杂、昂贵的 3D 模子获取;其次,2D 方式可以更好地处理头发、髯毛等的合成,而获得这些区域的详细 3D 几何形状则有一定的挑战性;最后,无需 3D 模子,2D 方式可以直接合成源图像中的配饰,包罗眼镜、帽子、围巾等。
然则,现有的 2D 方式存在一些局限性。由于缺少 3D 图模子,2D 方式只能从原始视角合成语言者头部视频,无法重新的角度举行渲染。
而英伟达的方式解决了 2D 方式的牢固视角问题,并实现了局部自由视角合成,你可以在原始视角的一定范围内改变语言者头部的角度。
该模子使用 新型 3D 要害点表征
版权声明

本文仅代表作者观点,
不代表本站掌赢网络的立场。
本文系作者授权发表,未经许可,不得转载。

评论

好文推荐

站点信息

  • 文章总数:2941
  • 页面总数:0
  • 分类总数:16
  • 标签总数:690
  • 评论总数:837
  • 浏览总数:847903