终于有人做了,Beyond演唱会高清数字版修复( 二 )


火山引擎音频技术团队研究员舒晓峰表示 , 火山引擎音频降噪算法针对音乐场景和人声场景实现了一个兼容的AI降噪算法 , 可以保留人说话/唱歌/音乐的同时 , 抑制其他的噪声 。
除了算法上的优势 , 在应用场景上 , 火山引擎也具备得天独厚的条件 。抖音、西瓜视频等业务每天都会收到用户海量的投稿 , 这里面既有 UGC , 也有PUGC的 , 有专业的视频 , 也有业余的拍摄 , 质量参差不齐 , 这些投稿都会经过火山引擎的自动优化处理 , 对清晰度、色彩、瑕疵、失真等做自动的修复 。“总结来说 , 我们拥有一个非常丰富的应用场景去优化迭代算法 。”火山引擎相关负责人介绍 。
AI修复 , 会成为老旧音像作品修复“救星”?
据介绍 , 本次抖音直播超清修复的Beyond演唱会中 , 还应用了火山引擎画质全链路端到端解决方案 。该解决方案主要包括服务端分析系统、服务端视频处理系统 , 客户端解码后处理系统 。
一个完整的视频消费链路包括了上传、转码、传输、消费等 , 火山引擎在其中的多个环节中对视频内容进行画质、码率、体验的优化 。
以服务端视频处理系统为例 , 它可根据上一环节输出的最优策略进行处理 , 组合多种算法模块包括超分、降噪、HDR、编码前处理、采样等 , 该过程先获取视频画质的上限 , 然后从码率出发进行编码预处理 。
值得注意的是 , 这样的技术除了应用在抖音中 , 也会对外开放 。“修复经验以及相关技术能力可以便捷地应用到其他的场景或者行业中 。”赵世杰指出 , 目前这些技术能力均已通过火山引擎视频云、音频技术产品开放给外部 。
修复不仅仅应用在演唱会、短视频等领域 , 2021年10月 , 西瓜视频及火山引擎推出“经典视频4K修复计划” , 计划通过技术手段 , 一年内修复百部经典动画片 , 目前已完成71部 。
修复经典是传承 , 也是用数字技术最大化还原作品 , 带来视听新感受 。“未来 , 我们会联合火山引擎修复更多经典影像 , 让经典焕发新生 。”抖音相关负责人表示 。