合照的时候，没有谁喜欢站在最边上。
△97°视场角
广角照片里的人脸，不用再扭曲变形：
那么，增加一波难度。
带上墨镜，带上帽子，拉长的脸依然可以复原：
△103°视场角
用手挡住半张脸，AI还是没有被迷惑：
△103°视场角
不止是这样，AI把人脸调正的同时，也不会扭曲了背景。
比如下图，中间是DxO Viewpoint的人脸修正，后面的栏杆被挤成了一条弧线；而右边是Google演算法，修好了人脸，栏杆依然直挺：
团队说，整个修复过程都是AI自动完成，并且在移动端也可以执行。
这只善良又聪颖的AI，登上了顶会SIGGRAPH 2019。
也在Reddit论坛收获了1.9k的热度：
有人说，Pixel的广角前置镜头已经用上了这个演算法，拍完之后点开照片预览，发现自己的脸已经收窄了。
互补才是完美
Google说，从前想要纠正镜头畸变，总是需要职业的修图士。
因为，让机器自动完成的话，常常是修好了一处扭曲，又制造了另一处新的扭曲。
不过，团队也正是从这些不完美的演算法之间，发现了新世界的大门：
先看透视投影(Perspective Projection) 。从一个投射中心出发，把一个3D物体投在2D表面上。忠于透视原理，近大远小。
它拉伸的主要是人脸，背景并不容易发生扭曲。
而球极平面投影(Stereographic Projection) 就不同了。把一个球面投射到平面上，并不忠实反映距离，却十分忠实地反映角度。就像这张地图。
这种投影也一定有失真，但对一张照片来说，主要是背景里的直线会变弯，而人脸不易被拉伸。
如此说来，两种投影愉快地互补了。
观察到这个美丽的现实，研究人员当然要把它们的优点，用优雅的方式结合起来。
一句话概括，就是让透视投影去处理背景，球极平面投影去处理区域性 (人脸) 。
△97°视场角
输入的照片如上，已经先用透视投影处理过。
这里，要用人物分割演算法，给输入影象里的人类做个Mask；再用人脸检测器，标出脸部的边界框。最后，把Mask和边界框的交集
第二步，为输入的 (透视投影) 照片，算出一个球极平面投影。
如果把这个投影视觉化，会发现边角的人脸已经修好，只是背景里，左边的窗棱和右边的墙弯了(下图) 。
所以就有了关键的下一步：
第三步，用上前两步的资料，算出一个网格 (Mesh)。这个网格依然是做球极平面投影，但只要调整人脸区域，背景尽量保持原样。
为了不影响背景，这里用到了能量最小化(Energy Minimization) 方法，来平息两种投影之间的冲突，促成更加平滑的过渡。
这样，就有了一个兼顾人脸和背景的、优化过的网格：
团队说，这个方法可以胜任70°-120°的视场角。
△103°视场角
△97°视场角
室内户外都表现稳定；光线明暗也不影响AI的发挥。
△114°视场角
△104°视场角
帽子、墨镜、手遮脸，这些没有难倒AI的因素之外，脸朝侧面
△103°视场角
还要注意的是，团队是为了移动端的应用，才开发了这只AI。它的执行速度，足以支援手机上相机App的正常互动：即时修图，即时分享。
如果说有什么缺憾，大概就是在捏脸的同时，还不能把身体一起捏好。
而人在角落，身体也可能被拉伸，如果只把脸修到正常的形状和大小，身体有时候就显得太大：
即便这样，AI也已经满足了广角人像拍摄的大部分需求。
三个少年
AI的爸爸，三位Google少年，全部来自宝岛。
施易昌(YiChang Shih) ，本科念台大，硕博都在麻省理工，实习经历遍布Adobe、Google研究院、微软研究院等等。
2015年，从闪耀的CSAIL实验室拿到博士学位，如今已是Google的高阶软件工程师 (Senior Software Engineer) ，主攻移动装置上的计算摄影。
二作是赖威昇(Wei-Sheng Lai) ，本科硕士都在台大，现在是加州大学默塞德分校博四的学生。曾经在Adobe和英伟达实习，不久前刚刚结束在Google作为学生研究员的历程。
三作叫梁家恺(Chia-Kai Liang) ，本科和博士都在台大。2008年博士毕业，现在是Google的高阶专家软件工程师 (Senior Staff Software Engineer) 。
One More Thing
虽然，三位作者里有两位都曾经在Adobe实习。
但这支团队孕育的AI，画风温柔善解人意。
比起一周前Adobe释出的“反向PS”利器，那只能把P过的美照打回原形的AI (如下) ，这广角人像的修复师AI，大概算得上爱的奉献了。
https://people.csail.mit.edu/yichangshih/wide_angle_portrait/shih_sig19_lowres.pdf
https://people.csail.mit.edu/yichangshih/wide_angle_portrait/
https://people.csail.mit.edu/yichangshih/wide_angle_portrait/webpage/main-results/index.html
与前人演算法
https://people.csail.mit.edu/yichangshih/wide_angle_portrait/webpage/academic-results/index.html
与市面产品
https://people.csail.mit.edu/yichangshih/wide_angle_portrait/webpage/manual-results/index.html
作者系网易新闻·网易号“各有态度”签约作者
AI内参 | 关注行业发展
