用2D图片生成的3D动态图,竟然这么逼真

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

几年前,360°全景是沉浸式VR视频,后来越来越多开始用容积摄影技术拍摄6DoF VR视频,效果更加立体,观众可以走进VR场景中,从多个角度查看3D人物、道具。与此同时,基于摄影测量法捕捉的静态3D场景也比全景照片更加立体、生动。

微信图片_20210929150422

不过,现有的容积摄影、摄影测量法依然受到一些限制,比如不能准确捕捉镜面反光、透镜效果等情况。而且这两种方案成本较高,难以规模应用。为了快速、低成本合成3D图像,谷歌训练了一个基于NeRF(神经辐射场)的学习算法,尝试从多张2D图片生成可多视角查看的立体影像。

ezgif-6-2b5c079d8de8

近期,为了进一步提升3D图像视角合成的效果,泰国VISTEC研究所研发了一种全新的3D视角合成算法NeX。同样是从多张平面图像合成3D图像,NeX最大的特点是可渲染逼真的反光、阴影变化。与NeRF方案实时对比后发现,NeX合成的图像可视角度更多,而且更清晰。

简单来讲,NeX是通过合成多张照片,来生成照片中任意点的立体位置,进而生成平面图像的不同视角,此外其特点是可将立体图像渲染的更逼真,模拟逼真的光照效果。

据了解,NeX算法基于多平面图像技术(MPI),也就是从多个角度查看会看到动态变化的立体图像,它并不是可以360°查看的3D模型,而是通过合成多角度变化,来模拟立体观感的图像形式。细节方面,MPI的原理是根据一组半透明平面来合成3D场景视图,模拟场景几何结构和纹理。

微信图片_20210929150420

实际上,谷歌在2018年就曾探索MPI技术,通过AI来合成新视角,赋予静态图片动态效果。而与传统MPI不同的是,NeX算法不是基于静态的RGB图像来生成立体视角,而是通过用参数(Alpha透明度值、反射系数)表示每个像素,独立渲染立体效果。也就是说,图像中每种颜色都以一种据视角变化的函数来表示,接着神经网络基于球面基础的线性组合来预测函数的值。据悉,独立渲染的好处是,可以更加准确的捕捉场景中的反光效果,或是CD光盘的彩虹色镜面反射。

微信图片_20210929150428

细节方面,NeX基于神经网络,通过线性组合来计算每帧图像中像素的Alpha值和反射系数,然后生成最终的色值。此外,科研人员还提出了一种显式和隐式建模混合的方案,目的是实时合成逼真的新视角,模拟复杂保真的表面反射效果。

微信图片_20210929150426

科研人员表示:NeX算法足够高效,刷新率可高达60Hz(据称处理速度是现有技术的1000倍),即使在移动端也能实时显示。此外,也可以在6DoF VR头显中观看,通过Firefox浏览器来查看WebVR demo。

ezgif-6-10c28fab9764

从NeX官网提供的立体图像样本来看,虽然图像边缘存在一些模糊,但是勺子上反光的划痕看起来足够逼真,而且随着视角变化,勺子反射光源、食物/盘子的影子等效果也会跟随角度而自然变化。此外,在渲染玻璃球折射周围彩色卡片的场景,Nex可渲染的足够自然。不过,NeX还存在一些局限,比如在两个反光物体遮挡的时候,难以渲染后面物体的反光效果,而且反光表面的闪烁也不够细致。

ezgif-6-48841a3cb367

另一方面,NeX的优势在于它可以合成更多自然的细节,这是现有容积摄影技术难以达到的效果,即使是配置高端的容积摄影棚,也很难捕捉反光物品,因此在进行拍摄时,演员通常不戴反光的金属饰品。未来,如果将NeX与容积捕捉方案结合,将有望提升3D动态捕捉的逼真感和细节。

ezgif-6-d4b70a1b1f5b

除此之外,也可以和摄影测量法结合。摄影测量法是一种捕捉3D静态场景的常用手法,不过摄影测量法仅能捕捉静态的场景,生成的3D模型只具有固定的亮度和色彩,因此即使你从不同角度观看,也不会发现有光影变化。

ezgif-6-00825e2869a4

总之,NeX在现有3D图像生成技术基础上,进一步提升色彩还原度和观影效果,未来的潜在应用场景包括:3D立体地图、虚拟产品展示等等。参考:RoadtoVR

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册