ai捏脸师：从幕后到台前，他究竟经历了怎样的故事？( 二 ) 2022江苏卫视跨年演唱会上

文章图片

文章图片

（图：网易伏羲捏脸的技术原理）
确定了如何捏脸，第二个问题就是如何落地。网易伏羲技术负责人木白告诉我们，捏脸这项技术，早期主要就是服务雷火游戏，所以直接的问题就是如何与游戏系统相结合。
按照最初的设计，捏脸系统采用深度学习算法编写。但要与游戏相结合，就需要把游戏的渲染系统引入到深度学习算法里面去调优。而问题是，游戏的渲染系统没有办法读懂AI的数学参数。
【ai捏脸师：从幕后到台前，他究竟经历了怎样的故事？】面对这些问题，再三衡量之后，伏羲最终决定在基于神经网络算法的基础上再开发一套游戏渲染系统，从而将整个pipeline（综合解决方案）打通。

文章图片

文章图片

在一系列研发的问题解决之后，本以为之后的工作会轻松一些，但另一个新的问题又出现了，而且这个问题还是一直埋头开发的程序员们之前一直没想到的。
“使用这套系统，需要玩家上传一张照片的，所以在游戏中我们会提示玩家上传一张正脸照片。”神秀告诉我们：“在我们的预想中，玩家提供的照片是正脸、角度正常、然后光照是均匀的、手也不要抖。”
“但大多数玩家不会听你的，即使你的提示写的很诚恳，他们也是随便一拍完事。这样自动捏脸的效果肯定就不会好，所以许多玩家就会说，这个系统真垃圾。”
“我们肯定也会感到很委屈，但也很快认识到自己的错误。”神秀回顾道：“我们一开始预设的是一个理想的实验室环境，真实的线上环境肯定不是这样的，它会面临许多干扰，比如拍摄时的光照，不同设备的拍摄条件，是否手抖等等。”
“另一个错误则是，我们一开始设想的是让玩家来配合技术，而不是技术去适应玩家，所以没考虑到之前那些问题。”
根据这些情况，网易伏羲团队依靠提高算法的鲁棒性，让随手拍的照片都能被识别。除此之外，还对算法做了进一步的加速，减少了玩家的等待时间，也会适当地对虚拟形象做一些美化。
在与玩家不断的“碰撞”下，捏脸系统也逐渐得到完善。
技术男学化妆
虽然AI捏脸的开发过程并不容易，但事实上，有些难题反而会让这个过程变得更加有趣。
“你肯定很难想象我们一堆做技术的直男，会去看美妆视频，研究口红色号。”神秀笑谈道。
事情起因，神秀和同事们在做捏脸算法的时候，发现许多女玩家会倾向于把自己好看的照片，比如美颜或者妆后的照片拿上来，这和男玩家有很大不同，男玩家可能就是随便拍一下。
“在我们最初的认知里，女生化妆就等于涂口红嘛。所以就想加一个口红，相当于给女玩家的捏脸加上了妆容。”神秀回忆道：“我们几个男生也讨论过，比如说口红有几种颜色，但是我们没有人知道，所以最后就随便拍板定了三种颜色认为应该足够了。”
“后来这件事情被产品经理发现了，我们就被喷了。”神秀有些不好意思：“我们产品是个女生，她告诉我们口红有多少种色号。而不止我们之前定的红色、橘色、大粉红色。”
这件事情之所以会被如此在意，是因为按照算法，为了让捏脸的效果更自然、精准，带有妆容的照片一般都需要先进行检测和还原，捏完脸之后再匹配一些系统的妆容。