用AI打破编解码器内卷,高通最新几篇顶会论文脑洞有点大( 三 )


文章图片

文章图片
这种方法能很好地将受关注的局部区域帧质量提升 , 让我们有更好的观看效果 , 而不是在视频被压缩时 , 看到的整幅图像都是“打上马赛克”的样子 。
用AI打破编解码器内卷,高通最新几篇顶会论文脑洞有点大
文章图片

文章图片
据高通表示 , 这种语义感知的图像压缩 , 目前已经在扩展到视频压缩上了 , 同样是关注局部的方法 , 效果也非常不错 。
而基于GAN的方法 , 则更加致力于用更少的比特数生成视觉效果同样好的图像质量:
用AI打破编解码器内卷,高通最新几篇顶会论文脑洞有点大
文章图片

文章图片
据高通表示 , 数据集来自CVPR中一个针对图像压缩的Workshop CLIC , 提供了大约1600张的高清图片 , 利用自研的模型 , 能在上面训练出很好的效果:
用AI打破编解码器内卷,高通最新几篇顶会论文脑洞有点大
文章图片

文章图片
也就是开头的图片效果 , 即使在大小被压缩后 , 基于GAN的图像还是能取得更好的视觉质量:
用AI打破编解码器内卷,高通最新几篇顶会论文脑洞有点大
文章图片

文章图片
期待这些技术能马上应用到手机等设备上 , 让我们看视频的时候真正变得不卡 。
相关论文:
[1]https://arxiv.org/abs/2104.00531
[2]https://arxiv.org/abs/2101.08687
参考链接:
[1]https://www.qualcomm.com/news/onq/2021/07/14/how-ai-research-enabling-next-gen-codecs
[2]https://github.com/leandromoreira/digital_video_introduction
来源:量子位