手机影像二十载，AI多摄会是终极答案吗？( 二 ) 上世纪20年代

文章图片

文章图片
比如在硬件上，增加CMOS可以提升成像质量，但也会增加手机存储读写的效率压力和功耗，手机厂商不得不在硬件上做大量突破。像是SoC工艺的应用，光学变焦潜望式镜头，堆栈式感光元件等等，手机厂商不断追求轻薄与成像的平衡。
既然是计算摄影，自然也离不开算力的支持。很多头部手机厂商都研发并应用了专门的AI芯片，以提升手机的计算性能，以支撑AI多摄的算力需求。
另一个必不可少的，则是算法。
10月12日旷视在其MegTech Lite漫谈AI技术分享会上，就提到了移动摄影的技术挑战，展示了旷视在AI多摄领域所做的大量技术创新和实践成果。简单来说，要让手机摄影达到媲美专业单反的效果，主要有三重挑战：
挑战之一，变焦。

文章图片

文章图片
我们知道，专业摄影师拍摄不同题材要用到不同的焦段，比如大场景自然风光适合12到24毫米，人像就要85到135毫米，而一部手机想要应对这么多题材，就需要多个摄像头来支撑。随着手机后置摄像头的数量和类别不断增加，主摄、广角、超广角、长焦、微距等五花八门，不可能全部打开。而AI算法可以有效弥补手机的硬件局限性，协调更多镜头组，来实现近似单反的变焦效果。
那么，怎么搭配组合才能让手机的变焦过程变得丝滑呢？越好的算法越能够消除不同摄像头接缝处的违和感，实现1+1大于2的成像效果。以旷视的平滑变焦算法为例，可以支持超广角+广角、广角+长焦等多种镜头组合，变焦过程平滑自然，不会出现黑区。

文章图片

文章图片
挑战之二，虚化。
专业单反的另一个厉害之处，就是有质感的虚化，人像或物体清晰而背景变虚，让画面更有故事感。但很多手机的虚化功能，成片看起来似乎总有点廉价，问题之一就出在算法上。
因为手机不可能装下一个直径4厘米的大光圈，虚化效果靠的是两个镜头来制造视差，模拟出大光圈的效果。如果算法不够强，没能精准测距，对画面上非常细节的部分进行计算，自然很难还原出高质量的视差效果。
据透露，旷视基于深度学习的双摄虚化算法，可以准确地计算出深度信息，实现非常精细的虚化效果，能够把消防栓孔的细节都恢复出来。

文章图片

文章图片
挑战之三，融合。
不同摄像头除了焦距不同，感光度也不同，如果能把不同能力的摄像头融合起来，就能获得双重效果。比如把一个对颜色感知能力强的摄像头和对结构感知能力强的摄像头融合起来，可以让画面变得既有颜色又有细节。

文章图片

文章图片
但做好这一点并不容易。因为两个摄像头拍摄的画面场景里出现的物体可能并不一模一样，会形成一定的视野盲区。想要把两张图融合成一张，就需要靠算法进行计算处理，比如把缺失的图像部分用AI“脑补”出来、将重合的部分对齐等等，从而提升成像质量。