Google以分层神经渲染生成遮罩，可个别操纵影片中物体时间轴

Google发展了一种产生图像和影片遮罩的新方法，利用分层神经渲染，将影片中的物体和背景分开，产生称为Omnimatte的遮罩，与典型分割模型不同之处在于，这个新方法所生成的Omnimatte不仅是物体本身，同时还能分离出和物体有关的其他细节，包括影子、部分透明的软效果，甚至是轮胎摩擦地面所产生的烟雾，与传统遮罩相同的地方是，Omnimatte为RGBA图像，因此能够用于广泛的图像和影片编辑工具。

图像和影片编辑操作，仰赖准确的遮罩（Matte），Google提到，虽然最近的的电脑视觉技术，已经可以产生高品质的遮罩，用来产生合成景深、合成图像，或是去除图像背景，但与主体相关的细节，像是阴影、反射和烟雾，通常会被切割算法忽略。

为了产生更实用的遮罩，Google开发了新方法，来切割出包含主体和相关细节的Omnimatte，借由使用分层神经渲染方法，训练卷积神经网络（CNN），将主体分割遮罩和背景噪声图像，映射到单一Omnimatte中。

研究人员提到，因为CNN的特性，能够良好地学习主体和相关特效之间的关联性，两者的相关性越强，CNN就越容易学习，像是（下图）在路上行走的人与狗，人和人的影子，以及狗和狗的影子之间的空间关系，都是从右向左移动，不过人与狗的影子，或是狗与人的影子，因为关系变化更大，因此相关性也就相对较弱，CNN会先学习较强的相关性，因此能获得正确的分解结果。

要生成Omnimatte，输入的影像会被分成多层，每个移动的物体独立为一层，静止的背景物体全部被分为另一层，当这些图层使用Alpha混合合并在一起时，就能重现输入的影像。Omnimatte能够被灵活地应用在各种影像处理应用中，像是只要在图层组合中删除特定的图层，就能够从影片中删除物体，并且还可以透过复制图层来复制物体。

Omnimatte也可以用来操控物体在影片中出现的时间（Retime），研究人员提到，这项特效常被应用在电影之中，但是传统的作法必须在受控的环境中，为每个单独的主体拍摄影片，但是分解成为Omnimatte后，即便日常的影片，都能够简单地操纵物体时序，只需更改每一个图层的播放速度，就能达到过去必须要对每个物体重新拍摄，才能达到的效果，而且由于Omnimatte是标准的RGBA图像，因此可以使用传统的影片编辑软件来编辑物体的时间轴。

（下图）影片被分解成三个图层，每个小孩一层，在原始的影片中，每个小孩跳入水里的时间不同，但是透过调整Omnimatte播放的时间轴，就能够让三个小孩同时跳入水中，并且拥有水花和反射等逼真效果。

不过这个Omnimattes技术仍然有其限制，目前只能用来处理固定相机位置的影像，当相机移动时，便无法精确地捕捉整个背景，部分背景元素可能遮盖上图层，另外，CNN在学习相关性上虽然非常强大，但是部分时候产生的结果不如预期，且无法切确掌握原因。研究人员也提到，这项技术可能遭到滥用，即便重新排列的物体，皆为影片中已经存在的内容，但是只要简单地调整影片内容的顺序，就可以被用来产生虚假和误导性讯息。