2021 年音视频领域有哪些突破性技术与发展？明年甚至更远的未来是否会迎来技术性拐点？ 第1页

要说人工智能在2021年有什么惊艳的进展，那一定是深度学习在音视频领域掀起的这波浪潮。深度学习让不可能变为可能，下面就是见证奇迹的时刻～

有一句名言，马赛克是阻碍人类进步的绊脚石。为了人类文明可以进步，我把马赛克还原算法【1】排在第一，该算法可以通过“脑补”给低分辩图像补充上细节从而变成高分辨率图像。算法的思路是拿一张低分辨率图片，使用styleGAN生成高分辨率图片，再将高分辨率图片降采样得到低分辨率图片，并与原始低分辨率图片对比训练，直到收敛。

该算法目前只支持人脸马赛克的去除，但只要你有数据一样可以去除其他物体的马赛克。我知道你读到这里，一定有了一些大胆的想法，并且跃跃欲试了【狗头】

有一个算法也非常惊艳，让静态照片动起来的一阶动态模型（first order motion model ），让万物皆可运动。你只需要一张自拍，就可以让它动起来，我就拿我的头像试了一下【2】。模型先使用运动估计模块捕捉面部动作，再用图像生成模块提取面部图像特征，结合面部动作生成运动图像。

再说说这个老旧照片复原技术 (bring the old photos back to life)，是国内科研团队发布在GitHub的一个项目【3】。这个项目的模型主要是通过深度学习复原那些破损褪色的照片。对于老旧照片的修复的难点在于每张照片的破损程度都各不相同，这种情况下就没办法用常用的监督学习的方法去解决。所以研发团队用了一种特殊的triplet domain translation network。通过训练两个 variational autoencoders(VAEs) 分别处理转换旧照片和干净的照片到两个latent spaces。之后这两个latent spaces 再通过运用合成的数据对比学习和转变就能很好的统一起来。

除此之外，为了解决单一图片的多种复杂退化，该模型利用了一个global branch来应对图片的结构残缺。比如有些照片不仅褪色严重，而且还有各种折痕和划痕。这时候这个global branch就可用来专门处理这种折痕划痕。如下图所示，照片的划痕被筛选出来进行了单独的修复。

单独解决了这些划痕的结构残缺，接下来local branch就是针对图片本身的矫正。除了颜色的调整，这里也会对噪点和模糊进行优化。

除此之外，模型还对人脸进行了加强优化。这里是通过progressive generator 来细化面部区域，最终得到一张清晰的面部轮廓。

总结来说这个模型优化基本上就是分三步走，第一步检测图片有没有结构破损，像是划痕之类的损毁情况， 第二步就是优化照片本身，降噪，调色，祛模糊， 第三步就是专门对面部进行局部优化。这样看来基本上就能处理大部分老旧照片所存在的问题了。

作为一个动漫迷，另一个要说的就是Real-ESRGAN模型了【4, 5】。 这个模型主要针对的是动漫视频超分辨率的优化。想想十几年前的动漫当时看的津津有味，现在打开一看，咦，是我的眼镜度数又高了吗？为什么总是感觉有一层灰盖在上面啊，真是画质感人。亲自下载了一下源代码测试了一遍，左边是网上随便找了张鸣人小时候的图片，有种朦朦的感觉。右边是用Real-ESGAN优化后的结果。

当然超分辨率后，图片的大小也从84kb增加到了1529kb.不得不说超分辨后，图片看起来不那么“近视了”。

除了修复这些图片，Real-ESRGAN 也可以修复动漫视频。这个模型其实还是基于ESRGAN模型，做出的针对低分辨率的图片及视频的优化，重点侧重于实用性。下图是整个模型的基本运行原理。

很多小伙伴看到这估计头都大了，自己要是处理个自己喜欢的图片是不是还得从新学一遍代码？ 那对于非码农来说真是太不友好了。这么好的技术怎么可能会没有GUI呢？哈哈哈，那么今天他来了。万万没想到2021年这些音视频领域的突破，已经被腾讯云成功落地。

腾讯云音视频的能力非常强大且丰富，集多类技术于一身，可以高效地解决各类常见问题。能够提供画质修复和增强的能力。通过传统算法与深度学习模型结合，来消除片源中的噪点和压缩效应，增强细节去除模糊，提升色彩质量，并解决分辨率低、帧率低、卡顿不清晰等问题。

第一大类技术为画质估计与修复技术。主要是针对一些本身带有噪声和被压缩的视频帧进行修复和增强。若不经过这部分处理，直接做譬如清晰度和纹理增强、色彩增强的操作，有机会放大噪声和伪影。反过来，若不管视频本身质量，一律统一进行去噪声和压缩的处理，也会导致细节丢失的问题。

这里具体看下这张人脸图，以压缩恢复为例，它经过不同程度的压缩后呈现出不同的画质，若采用目前学术上最好的无估计方法进行统一的去压缩的处理，会发现它们恢复不了压缩很严重质量很差的图，而对于轻微压缩质量较好的图，它的脸部和眼睛周边处理又太过平滑。因此，腾讯云音视频提出了CRESNET方法。这是一种有估计的压缩恢复方法。它针对压缩受损情况进行估计，提取质量估计网络中间层特征融合到恢复网络中进行指引，提升不同压缩程度的恢复效果，目前超过了State-of-the-art的方法，而且很适合实际落地应用。

第二大类技术为清晰度增强技术。这里是针对质量相对较好的源进行清晰度增强。

在这个任务里，腾讯云音视频会重点考虑如何增强细节和纹理，达到去模糊和更加清晰的目的，同时也要兼顾到，即使是较好的源依然可能会有轻微的噪声。这些噪声若完全不理会，还是会被一起增强。这就需要找到一种更合理的数据处理方式，它能同时兼顾到各种数据分布，因此产生的退化数据应该通过随机引入噪声、压缩毛刺、视觉模糊和上下采不清晰等操作，来提高整体模型的泛化能力。另外，由于人眼对人脸和字体区域变化的敏感性，可以针对性的融合高级语义信息来对这些部分进行优化。

下面来看一段视频吧，效果非常惊艳～

第三大类技术为视频色彩增强技术。针对一些色彩黯淡的视频进行增强，腾讯云音视频提出的方法主要是通过亮度、对比度和饱和度三个维度来分别进行色彩增强。

色彩增强也可以使用深度学习模型来解决，如HDRNet。但深度学习模型总体来说是个黑盒，解释性差，会出现帧内和帧间跳变的不稳定问题。腾讯云的工程师们采用了白盒方法，解释性更强，符合人为PS的操作更稳定可控，适合处理视频以及进行应用落地。

腾讯云的色彩增强模型是要直接用参数回归来简化强化学习的思路，使得训练更容易收敛，而且这样的成对数据集也更容易获取。首先，对高质量色彩图分别进行亮度、对比度和饱和度的随机退化。训练时，色彩退化图可以下采到小尺寸提升运算速度。接着，通过结合全局色彩特征和语义特征，固定操作顺序，做全连接回归来依次预测图像操作亮度、对比度、饱和度的增强参数。这样整体效果会更加稳定可控。

如下面的效果图，左边这组输入低光照图片，先用模型预测进行亮度增强；右边这组输入高饱和度的图片，用模型预测进行饱和度弱化。两组预测系数的方差大概在0.2左右，但是调整出来的整体色彩效果都是更合理的，由于整个网络在训练时参考了大量专家色彩，稳定性也比较高。

腾讯云音视频在以上各方面的突破，总的来说，一方面提高了图像的质量，另一方面也提高了图像和声音信息的传输效率。如果用一句话来总结这些突破对我们生活的影响，那就是借助这些新进展：我能更清晰地看到过去的“你”，也更真切地能触摸到远方的“你”。

画质提升之后，承载着我们小时候美好回忆的那些电视剧、动画片，都有望重返青春。更高的清晰度，更鲜艳的色彩，更真实的细节，能给我们带来更好的视觉体验。小时候就爱看老版《三国演义》，唐国强饰演的诸葛亮，鲍国安饰演的曹操，是永恒的经典。现在家里电视大了，旧片新放，发现屏幕上全是噪点、斑块，那些文言字幕也模模糊糊，看起来非常不舒服。现在一些视频平台已经开始了将其高清化的工作，相信老版本的《三国演义》在近期就可以旧貌换新颜，我们也可以重新梦回三国，重温英雄梦。

明年会有什么样的技术性突破拐点不好说，请诸君拭目以待。但是，我猜测各大视频平台（包括短视频平台）估计会掀起一波“老片新看”的热潮。

参考文献：

【1】Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models

【2】https://github.com/AliaksandrSiarohin/first-order-model

【3】https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life

【4】https://github.com/xinntao/Real-ESRGAN

【5】Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data

一，现状回顾

2021年疫情反反复复，电商带货、在线教育、大型展会活动、在线会议、在线医疗、金融证券，各类活动场景都在不断加深线上开展业务的方式。

10年前，当4G商用时，几乎所有媒体都在强调可以用4G看高清视频，而那时实时通信只能在专有软件、插件或Adobe Flash中进行。现在短视频爆炸式的发展，我们每天可在Chrome，Safari，Edge不同浏览器，各种软件App、iOS和Android移动设备，以及各种嵌入式终端之间实时互动。

音视频领域的发展，可以说是交互方式，业务应用场景，软硬件适用的平台都获得了全方位的扩展。

在交互方式方面，从一对一的交互，拓展到一对多，多对多，实时保存供回放等等。业务应用场景从视频通话拓展到了发布会，在线教育，演示卖货，直播互动，云游戏。而软硬件使用的平台逐渐变得全平台化，从最初的只适合PC-Windows平台，拓展到更多的移动平台（iOS与Android），拓展到更多的嵌入式终端（Linux平台）。

实时音视频技术的前世今生

实时音视频英文全称 Real-Time Communication，简称 RTC，是一种终端服务，为行业提供高并发、低延时、高清流畅、安全可靠的全场景、全互动、全实时的音视频服务。音视频数据传输的延迟要达到「实时」的标准，即延时<400ms，才能实现低延时和无卡顿，使得正常通信过程中基本感受不到延迟的存在。

实时音视频通信在满足特定条件下可以实现点对点通讯，但更多情况下还是需要用服务端为中转节点，对终端用户的图像、视频、音频数据进行即时采集、渲染、处理、传输，从而实现音视频流数据在终端节点间完成通信的过程。

WebRTC （web real-time communication）即Web实时通讯，这项技术是Google在2020年2月收购了IP网络实时语音和软件提供商GIPS后重命名为WebRTC并开源出来，经过这11年的发展，今年1月，WebRTC 被W3C 和 IETF 发布为正式标准。

虽然在名称上是支持Web上的实时通讯，但它包括很多我们想用到的东西：视频、音频、文字、文件的实时通讯。理论上来说这个框架可以支持到各种场合。

音视频处理包括语音引擎和视频引擎，不受网络条件影响，只受限于编解码算法、播放策略等因素。会根据不同的应用场景使用不同的技术以达到预期的效果。

网络传输的丢包、抖动和乱序对实时音视频应用的体验影响最为重大，但目前已经存在多种非常成熟的实时音视频数据传输协议，能很好地解决常规问题。

当下实时音视频技术的技术难点

以在线教育为例，实时音视频应用是一种强交互应用，用户的交互体验会严重影响一堂课的授课质量。要想提供优质交互的课堂体验，实时音视频需克服以下技术难点：

• 网络基础设施：需要同时满足画质清晰流畅不卡顿、低时延、实时互动等需求。而今天网络情况复杂，弱网、跨运营商、跨国都导致链路质量和传输延时不可控；
• 高清晰度：对数据传输、客户端的数据采集及数据渲染有较高技术要求；
• 高音质：对音视频的降噪和消除回声有极高要求；
• 国内外网互通：国内外连线，各地区信号差异大，如有的地方是5G，有时还是2G信号，对实时音视频技术极大的挑战；
• 音画同步：对在线教育，除音画同步外，还涉及课件和白板以及交互操作的同步；
• 海量并发：用户量多，对网络稳定，服务器不宕机能力提出挑战；
• 低端设备适配：硬件越来越复杂，进入的场景也越多，低端设备的适配是比较难；

音视频技术的发展，促动的各种新兴需求与场景

早在上世纪90年代，实时音视频就以QQ通讯的方式进入了大家的使用场景，不过随着时间的发展以及视频应用的丰富，各种各样的需求逐渐产生：

网络多样性问题：一方面，我国缺少公网IP的问题使得许多通讯并不能有效的实现点对点通讯，需要服务器端中转，带来新的业务需求考验。二方面，移动互联网会面临传输速度与信号质量不断实时改变的网络状况，面对这种多变的网络要保证稳定流畅的音视频通讯对服务器以及音视频通信算法的应对能力是一个考验。

实时视频处理问题：视频会议中的每个用户需要对自己的音视频进行定制，比如视频的实时处理，这就涉及到人体识别技术，视频背景实时修改替换技术，视频模糊技术。

实时音频处理问题：同样的技术也会用于音频，比如记录演讲者的声纹用于实时祛除背景人声噪音，优化会议环境等等，这种技术最初可能以类似回声消除的机制来实现，不过基于机器学习的声纹匹配是目前更先进的方式。

实时交互切换问题：云游戏主播可以实时的把控制权交给听众来体验，这是云游戏在直播互动领域的优势应用场景。直播互动中也可能需要有连麦的需求，因此实时交互模式可能会在一个会话中动态修改。

一对多的推流问题：点对点的通讯如果大幅度增加节点数量，则每个节点需要上传的带宽都是信号带宽乘以总人数，这将把带宽需求提升到非常可怕的数字。目前业界对此的标准解决方案是CDN（内容分发网络），为了实现一对多（无论是大型研讨会还是直播发布会），必然需要部署大量的CDN节点辅助内容分发，而这个架构又需要与实时的音视频体系结合起来才能更方便使用。

总的来说，随着音视频应用场景的实际发展，音视频的范畴已经远远超越了WebRTC所定义的应用场景，我们需要更高一层的抽象化以及服务集成框架来应对日新月异的音视频业务需求。

而在这些方面的技术经验，以我司曾经合作过的产商来看，腾讯的云音视频解决方案处理的比较出色。

二，经验场景

从个人实践经历上，来看音视频的解决方案

我们知道腾讯是国内最早做音视频的一批企业，毕竟QQ本身要有音视频通讯。与此大致同时的还有微软的音视频，后续微软又整合了在落地方面有身后经验的Skype，此处落地指的自然是接入公共电话系统。但或许，落地也成为它的发展阻碍，毕竟这种技术会受到电信运营商的抵触，所以与直接接入电话相关的各种技术路线最终都会被证明走不通。

在Skype基础上发展起来的其它技术，也经历了很多分支发展，有很多进入了WebRTC。当然由于它本质上基于Web，这个发展体系其实与我们的需求相违背。毕竟，我们自己是做嵌入式的，大多数嵌入式设备并不能很好的跑起来一个浏览器。

那我们在讨论「如何让我们的嵌入式设备与手机之间实现音视频通讯」的时候，就会发现，如果不能走电信运营商这条路，剩下的就只有自研，而自研就必然面临着，自家app的推送无法有效到达，以及无法唤醒app进行通讯的问题。在这方面，我们测试了很多方案，发现要想实现实时的呼叫，只有腾讯的方案最终可以信赖，毕竟，主流手机产商都会主动给腾讯适配，让腾讯系可以正常唤醒进行通讯，而其它方案都无法保证足够的实时性。

于是我们选择了腾讯的实时音视频通信框架以及推送框架接入，整体工作流非常顺畅。费用方面公司也评估了一阵子，发现主流的几个方案最终费用基本都在同一个数量级，相差不大。

而在通话质量方面，腾讯的音视频相对有保障，首先是在各种复杂的网络情况下都能够联通，其次是实时的检测网络情况提供足够的QoS。

QoS指的就是服务质量的保障了，通过各种措施使得总体服务质量达到一个均衡的水平，不会出现突然的卡顿，漏音，破音，花屏等等。

视频可以通过QoS动态调整码流，以及自动尝试补全非关键帧，与此同时，音频也能做到类似的事情：腾讯开创了QoS 4.0基于智能感知的网络预测算法，自研的cPLC连续突发丢包补偿方案能够回复120ms以内的连续丢包，自研的cFEC前向纠错编码方案也比OPUS原生的带内FEC恢复效果更好；可以提供更优秀的音视频传输质量和更好的流畅度。

而视频方面，腾讯自研的H.265硬件编码瑶池U500在今年12月莫斯科国立大学举办的MSU世界视频编码器大赛中获得硬件编码器比赛第一名的佳绩，这个硬件编码器也即将投产，随着5G的普及，将会进一步在视频画质、带宽占用、计算成本等方面为行业提供性能更佳的解决方案，为云游戏、视频直播等场景提供更为优质的视频体验。

现实中，一旦我们开始部署音视频领域的应用，尝到了音视频应用的甜头，需求就会很快地从点对点实时音视频拓展开来。比如，我们提供了学生与家长的音视频互通，就开始慢慢诞生教师的互动要求，学校就希望考虑支持班主任召开家长会这种一对多的场合。

班主任召开家长会看似简单的将实时通讯变成一对多，但实际上诞生的需求比表面上想象的要多，比如这就会涉及到录像功能，允许迟到的家长观看一定程度的录播视频。也同时会考虑到大量家长听讲情况下的视频内容分发。以及老师需要允许个别家长发言等等。

这，就需要比较好的网络支持了。腾讯为了降低延时提高请求成功率，在全球70多个国家与地区进行储备了CDN 资源，现在全网带宽达到了150Tbps+。全球拥有超过2800个加速节点，中国境内含2000+加速节点，覆盖移动、联通、电信及十几家中小型运营商，中国境外含800+加速节点。其服务可用性平均延时降低了24%，同时请求成功率却提升17%。

除了家长会这样的会议，还有日新月异的直播需求，他们往往会存在对视频的实时处理要求。腾讯通过AI的加持，可以智能处理很多场景。如判断媒体视频理解关注的区域对视频尺寸智能裁减，使视频在不同比例设备中能够呈现最优效果； 智能扣图可以将背景绿幕进行替换，腾讯自研的算法可弱化绿幕边缘使其替换更自然；智能视频分析，可以做到识别和分析视频中的动作、事件、人脸等特性，自动定位精彩片段，完成自动拆条、剪辑、配乐等工作，生成精彩视频集锦并自动选择封面或gif封面。这些技术就可以更好的适应于博览会、智慧园区、影视综宣发、体育赛事、电商直播提供大量支持。

各种各样的功能性需求，以及历史积淀，造就了腾讯整合出来的新的RT-ONE™ 云音视频平台，依托这个基础可以构建各种各样的音视频业务。包括实时音视频、即时通信、云直播、云点播等全面的 PaaS 产品矩阵，提升了企业全面、多样的业务构建和场景快速上线能力。

三、技术漫谈

网络音视频格式的变迁

网络音视频经历了各种各样的传输格式，例如FLV这个Flash格式曾经是互联网一霸，直到后续各大操作系统与浏览器封杀Flash才渐渐淡出大众实现，还有苹果推出的HLS格式（Http Live Streaming）顾名思义是用于在http协议上实时传输流媒体使用的。又比如CMAF（Comm Media Application Format），这是多家行业巨头合力推出的媒体框架，还有前边所说的WebRTC。究竟哪些会在下一个十年继续应用呢？

个人看法是，部分格式因为相对应用场景单一，或者有大公司强推，可能会持续使用，比如HLS以及WebRTC分别为苹果与谷歌强推。他们相对来说比较倾向于基于浏览器架构。

而CMAF格式则可能具备更广泛的应用场景。一方面，从技术上来说，它并不仅仅只是一个格式，还定义了各种应用场景标准，它能够满足网络音视频中更广泛的应用场景需求。二方面，它得到了微软，苹果，MLBAM，Akamai等更多行业巨头的支持。所以有兴趣的朋友可以进一步了解一下CMAF。

出海覆盖全球网络

我国的互联网业务不断发展，目前已经逐渐开始携带着国内的很多优秀体验走向全球，海外的网络情况其实与国内有一些差别，这些大多数需要实际有海外经验，踩过一圈坑才能搞清楚。而大厂框架在这方面可能会走到前边，提前把海外该部署的节点都部署好了。例如腾讯 CDN 资源储备遍布全球70+国家与地区，全网带宽150Tbps+。全球拥有超过2800个加速节点。

元宇宙与虚拟现实

元宇宙，在我看来，可以当作一个大型的网络游戏，而虚拟现实，某种程度上也可以当作一个渲染帧率与精度要求很高的3D游戏。我们知道，游戏本身往往代表着需要使用同类产品中最高性能规格的硬件，而元宇宙与虚拟现实相关的性能需求都是游戏级，除了性能需求以外，另外还增加了网络需求。

5G网络的新形态是否给应用提出了不同的要求？个人觉得相对来说5G与传统宽带的差异性主要是两个：

一个是不可靠性，5G网络每个基站能够覆盖的范围非常有限，如果客户在移动过程中使用5G网络，那么网络连接会不断的切换，终端自身的网络状态与网络地址都会不断改变。

二个则是供电的不可持续性，移动设备有可能使用电池供电，所以在应用开发的时候往往需要考虑功耗与发热问题。不能像固定设备一样不加顾虑的使用资源。

如果5G网络在固定地点插电使用，理论上与宽带区别不大。但移动使用的情况下，可能就必然造成多变的网络，对不同网络情况的适应提出了更多要求。

除了网络的特性以外，5G的终端可以移动，并且具备更多传感器，也就必然意味着更多形式的交互，这对应用开发提出了很多挑战，但也揭示了很多应用场景创新的可能。

比如云游戏虽然单独作为玩游戏的方式并不算非常火，但如果作为游戏直播的方式，则可以非常有前景，因为它可以更方便的实现控制权的切换，方便更多的听众参与到直播中来，主播甚至可以让观众临时控制游戏。而这就需要云游戏架构结合音视频交互技术。

未来可继续优化的应用场景创新

除了技术突破与创新外，腾讯云音视频尝试与VR/AR结合，在应用场景上不断创新，提供沉浸式媒体体验。如云上南头古城，将南头古城1：1超精细化的还原到云端，别出心裁地将云端科技与南头古城特色文化街区融合，打造与古城实体街区相呼应的线上虚拟空间。体验方式很简单，进入小程序即可在指尖上漫步南头古城，在游戏般的趣味体验里，随时在云端畅游古城，沉浸式感受生活烟火气。

在教育场景，腾讯云音视频继续深耕并扩大支持力度，提供的低延时产品帮助客户快速从原服务无缝切换到低延时服务。而腾讯的小程序音视频能力，也方便在线教育创业者在小程序上快速试错，大幅降低运营成本。

除此之外，金融场景也有布局，如在小程序端提供的高质量、低延时音视频帮助众多基金经理完成线上投资讲解、基金销售。合作伙伴飞虎互动就在半年多时间里将多家银行开户流程搬到线上，已获得几十家银行客户认可。

全真互联时代下，腾讯云音视频会继续探索新的行业趋势、新的技术方向以及新的应用场景，与大家共同探索视界，创见未来！