行业研究报告哪里找

封面页（此页面将由下图全覆盖，此为编辑稿中的示意，将在终稿 PDF 版中做更新）卷首语 从古至今，竞技体育一直令人着迷。竞技超越之力，书写人类历史的传奇。刚刚过去的 2022，更是“体育超级年”，冬奥会、NBA、世界杯等各类大型体育赛事贯穿全年，跨越时空之限，拨动亿万心弦。由于疫情管控和物理空间限制，赛事直播愈加关键，而观赛体验也在不断升级，越来越多的观众渴望获得如临现场，乃至超越现场的畅爽体验，低延迟、超高清、超沉浸、强互动，成为体育赛事直播的极致追求。视频云技术与边缘云基础设施的发展，使极致体验成为可能。通过电视、电脑、手机、平板等各种终端设备，全球亿万观众足不出户，就能第一时间、自由视角观赛，身临其境感受赛场氛围。本书精选阿里云视频云与边缘云在世界杯、NBA 总决赛、2022 北京冬奥会、2020 东京奥运会、英雄联盟 S10 以及 CUBA 赛事的技术实践，分享超低延时直播RTS、窄带高清、虚拟演播厅等视频云技术如何赋能大型体育赛事，实现帧级同步、超清还原、虚实融合的感官震撼，打造新一代超现实沉浸式极致体验标杆。IMMENSE 目录 第一章 世界杯：超低延时直播 RTS 的极限突破.4 直击卡塔尔世界杯，超级流量池的速度与激情.5 解读 RTS，看超低延时的世界杯直播，如何实现？.9 回顾俄罗斯世界杯，揭秘球星智能集锦技术.14 第二章 NBA 总决赛：窄带高清的视觉渲染力.21 如临现场的视觉感染力，NBA 决赛还能这样看？.22 NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读.28 第三章 2022 北京冬奥会：百年奥运的黑科技.47 视频云的百年奥运 云上故事.48 百年奥运的瞬即美学：凌空之美，分秒凝结AI 编辑部“云智剪”.55 百年奥运的沉浸其境：冰雪之外，与你同在“互动虚拟演播”.63 百年奥运的相觑之温：尔疆我界，咫尺相见Cloud ME.70 第四章 2020 东京奥运会：数智与虚拟之境.78 50 亿观众的“云上奥运”，顶级媒体背后的数智化力量.79 导播上云，把“虚拟演播厅”搬到奥运村.93 快捷、实时、稳定，随时随地打造虚拟沉浸直播间.97 第五章 英雄联盟 S10：全球首个实时字幕技术.106 全球首个游戏直播实时字幕技术 热力支持英雄联盟 S10 赛事.107 第六章 CUBA：“自由视角”的畅快赛事.111 5G 边缘计算 自由视角，让体育赛事更畅快.112 第一章 世界杯：超低延时直播 RTS 的极限突破（此页面将由下图全覆盖，此为编辑稿中的示意，将在终稿 PDF 版中做更新）直击卡塔尔世界杯，超级流量池的速度与激情 5 直击卡塔尔世界杯，超级流量池的速度与激情 2022 卡塔尔世界杯呼啸而来。11 月 20 日开幕，28 天赛期、64 场比赛，吸引全球 50 亿观众，2022 卡塔尔世界杯是当之无愧的超级流量场。世界杯是无界的狂欢，全世界的球迷无疑会守住直播现场，云观赛、云互动。云上技术离不开阿里云的强力支撑，此次，阿里云对 2022 世界杯直播全程保驾护航，更以亚秒级的超低延时和超沉浸的视觉观感，带来直击现场般的速度与激情。这已不是阿里云第一次支撑世界杯，在 2018 年的俄罗斯世界杯，阿里云便承载了全网 70%的流量，支撑优酷单场 2400 万用户同时涌入观看，并为各大直播平台提供技术产品服务。四年之后，2022 迎来直播流量的翻番增长，此次世界杯仅揭幕战承载的直播流量，已超过 2018 届世界杯决赛流量，峰值达到了 4 个 2022 年春晚的规模。决赛当日，抖音世界杯决赛直播间更是迎来超 3700 万人同时在线的历史峰值。阿里云作为抖音世界杯直播服务商之一，通过视频云及网络分发加速技术，为抖音平台全程稳定、流畅的赛事直播提供坚实保障。直击卡塔尔世界杯，超级流量池的速度与激情 6 同时，为配合主办国卡塔尔的特殊气候，本届世界杯在冬季举行，一些比赛场次的时间与国内用户晚上习惯于消费音视频的高峰时段重叠。因此，平台规模和大规模赛事的技术保障能力至关重要。以阿根廷对战沙特阿拉伯的比赛为例，单场直播峰值带宽接近 40Tbps，相当于一秒内传输一万部高清电影。超大流量洪峰的护航不仅在国内，此次卡塔尔世界杯，阿里云在支持抖音、咪咕、央视网等平台的同时，还支撑众多海外视频直播平台，助力全球共享这一燃情赛事。尽管直播流量规模不断攀升，阿里云对稳定、流畅的直播体验和对视频直播技术的极致追求一以贯之。1.采用更低的延时技术，带来赛事“零时差”的更强互动。过去，大型体育赛事直播延时通常在 15s 以上，观众往往面临着现场已在进球欢呼，直播仍是传球的画面，与赛场激情瞬间错失“同频”之机。针对过往赛事直播的延时痛点，2022 世界杯使用了阿里云 RTS 超低延时直播技术，这也是世界杯史上第一次将端到端直播延时缩短至 1s 左右，即使面对世界杯足球赛事这样画面切换快、运动性强的高码率场景，仍能实现超低延时的丝滑观赛体验。2.面对大型赛事直播，“稳定性和高可靠”是一切体验的“基石”。对于世界杯这样的世界顶级赛事，还面临着用户地域分布广、用户数量多、网络复杂多样的情况，也会带来热点赛程、黄金时段用户量陡增等众多挑战。对此，阿里云利用全球加速（GA）建立直播信源到北上广等地演播室的高品质网络容灾链路，为了应对“千万级高并发”、“超低延时”等技术挑战，阿里云从 9 月开始筹备卡塔尔世界杯直播护航工作，抽调经历双 11、奥运的技术骨干，依托飞天技术服务平台（Apsara ServiceStack）构建“秒级监控、1 分钟级响应、5 分钟处置”的保障体系，并在赛前与抖音平台共同完成多轮直播压测与技术演练，为本届世界杯共计 64 场比赛提供全面的技术护航服务。直击卡塔尔世界杯，超级流量池的速度与激情 7 同时，阿里云通过“秒级全链路监控机制”，实时捕获抖动、卡顿、黑屏、音频异常等问题，并精准定位原因，采用端到端的全链路主备双重机制，从源流设备到实时加速主链路，保证这中间出现任何抖动卡顿或故障问题时，其备用环节瞬时启动用户无感的自动切换。配合这些技术手段，进行大型直播全程护航的阿里云工程师，也第一时间解决问题，确保用户的全程流畅观感。3.稳定性之上，是赛事直播的“场景多能力”释放。作为众多平台的核心技术服务方，阿里云为 2022 世界杯直播提供了广电级大型赛事直播解决方案，该方案可以基于视频边缘推流、窄带高清转码、云上导播、AI 智能生产、全域边缘节点分发等综合技术能力，在超大流量并发下，带来更实时、更稳定、更高清、更丰富的直播观赛体验。阿里云基于全球实时流媒体传输网络（GRTN），可保障千万级用户高并发下的高品质观看体验；全链路灾备与应急预案，以及多年直播最佳实践经验，可以确保大型赛事直播落地的高可靠性；云上导播与互动虚拟演播技术，带来制播一体的云端效能和实时沉浸互动的直播新体验；同时，在“窄带高清”转码技术之上，加之超高清 4K/8K、杜比音效、50 帧等音视频能力，整体带来极致视听。直击卡塔尔世界杯，超级流量池的速度与激情 8 多年来，阿里云的广电级大型赛事直播解决方案已经过无数次历练与创新。2018 世界杯赛事，保障了数千万并发稳定流畅观看；2020 迪拜世博会中国馆开幕式，做到 0 丢帧、0 卡顿的网络直播；2022 年北京冬奥会，助力百年奥运首次启用互动虚拟演播，打造实时沉浸报道；同时，阿里云也为多年央视春晚、每年的天猫双 11 晚会，提供端到端的直播解决方案，在超高规格场景下持续保障直播稳定性和体验性，沉淀了极深的技术厚度和丰沛的实战经验。2020 迪拜世博会中国馆“阿里云日”一切因技术而改变，直击第一次在北半球冬季举行的世界杯，在冬日里的速度和激情之上，期待它的更多不同。发布时间：2022 年 11 月 22 日 作者：IMMENSE 解读 RTS，看超低延时的世界杯直播，如何实现？9 解读 RTS，看超低延时的世界杯直播，如何实现？2022 世界杯，随着阿根廷致胜点球破门而入，屏幕之外，球迷即可在下一秒同步分享球队夺冠的喜悦。这就是说，在一秒之内，世界杯直播就把射门之况从遥远的卡塔尔传到亿万粉丝的手中之幕。是的，这一届世界杯，阿里云 RTS 将直播端到端延时缩短至 1 秒。我们知道，过去受传输协议等因素限制，传统直播技术存在明显延迟，观看比赛的时不能及时跟主播和广大球迷互动分享。而今年世界杯，阿里云利用全球加速（GA）建立直播信源到北上广等地演播室的高品质网络容灾链路，并运用 RTS 技术支持直播分发，将直播端到端延时缩短至 1 秒。然而，世界杯直播是如何实现这一秒极限的？剖析互联网直播全链路，直播延时分布在采集、编码、发送、分发、接收、解码、渲染这七个步骤，其中采集、编码和解码、渲染的总体延时较为固定，在 100 毫秒左右，而分发和接收环节的延时变动较大，从数十毫秒到数秒不等，要想将端到端的延时压缩到 1 秒，主要需提高 CDN 的分发和传输效率，将直播内容实时传送到用户屏幕中。这其中核心发挥能量的，莫属全球实时传输网络 GRTN 和超低延时直播技术 RTS。解读 RTS，看超低延时的世界杯直播，如何实现？10 阿里云全球实时传输网络 GRTN 基于广覆盖和分布式异构的计算资源，支持自动切换就近节点，轻松调度资源，实现毫秒级延时、千万级并发的传输能力，为用户提供距离更近、时延更低的精彩赛事画面。更重要的是，为了保障超低延迟的直播服务，阿里云在 2022 世界杯直播中，启用了超低延时直播技术 RTS（Real-time Streaming）。阿里云 RTS 是在全球实时传输网络基础之上，提供超低延时、易接入、高清流畅的视频直播服务。RTS 对视频直播进行全链路延时监控、CDN 传输协议改造和 UDP 等底层技术优化，通过集成 SDK，支持在千万级并发场景下毫秒级延时直播的能力，弥补了传统直播存在 36 秒延时的问题，保障低延时、低卡顿的极致直播观看体验。在直播过程中，传统的 RTMP 推流存在 TCP 链接耗时过长、拥塞控制完全依赖 TCP传输层、无法提供实时带宽数据来动态调整视频编码码率等问题，导致推流延迟和卡顿。超低延时直播技术 RTS 在下行 UDP 改造的基础上，进行上行 UDP 底层 WebRTC 技术优化，通过发布移动端、PC 端推流 RTS SDK 插件来提升直播推流质量，提供秒开流畅、安全可靠的直播观看体验。解读 RTS，看超低延时的世界杯直播，如何实现？11 同时，客户端接入也十分简单，无需改变原有的推流端采集架构，只需要嵌入 RTS SDK 即可新增一个推流协议，实现超低延时的直播效果。通过下图 RTS 和 RTMP 直播协议的对比视频，我们可以发现，在有一定丢包率的情况下，RTS 在体验、流畅度和色彩上都相对 RTMP 有明显的优势。点击这里查看视频：RTS 与 RTMP 延迟对比 基于这样的技术能力，阿里云超低延时直播技术 RTS 具备以下六大核心优势：秒级延时抗弱网：相比于传统 RTMP 和 FLV 拉流的 5-10s 延时，RTS 的延时缩短至 1s，并且能够基于线上的大数据进行自我学习和持续迭代。解读 RTS，看超低延时的世界杯直播，如何实现？12 广覆盖高并发：基于阿里云广泛的边缘节点，RTS 服务支持百万级推流，千万级并发拉流播放。无缝迁移：RTS 服务支持在不改变原有架构的基础上，仅需更新播放端，即可延续直播 RTMP 推流。开放标准：RTS 采用完全开放透明的 WebRTC 信令协议，方便采用自研播放器的客户自行升级网络模块，接入阿里云的 RTS 服务。简单易用：RTS 可在原有直播使用方式上，与点播进行联动，并支持转码、截图、录制、安全审核等多种场景功能。成熟稳定：历经淘宝直播电商业务的大规模线上检验，RTS 目前已在淘宝直播全量上线，真正落地并帮助提高业务价值。RTS 的亚秒级延时和卓越的抗弱网能力，大幅提升了传输效率，在相同卡顿率下，延时可以降低 80%，将世界杯直播端到端延时缩短至 1 秒。同时，由于 RTS 能够复用阿里云直播 CDN 的节点和网络资源，从而有效平衡了直播对接入成本、节点覆盖与承载能力的需求。总之，这一届世界杯因为有了 RTS，让卡塔尔球场发生的每一个精彩瞬间，在一秒之内同频到各地球迷的直播屏幕上。这一秒的背后，不仅是体育竞技的高光，更是直播技术千锤百炼的成果。发布时间：2022 年 12 月 22 日 作者：IMMENSE 解读 RTS，看超低延时的世界杯直播，如何实现？13 点击这里或抖音扫描如下二维码 点击这里或抖音扫描如下二维码 查看视频：超低延时的世界杯直播，是如何实现的？查看视频：超低延时的世界杯直播，是如何实现的？回顾俄罗斯世界杯，揭秘球星智能集锦技术 14 回顾俄罗斯世界杯，揭秘球星智能集锦技术 2018 年俄罗斯世界杯与历届不同，不仅呈现了精彩绝伦的比赛，也是球星们展示个人能力、俘获俱乐部和粉丝青睐的重要舞台。阿里云视频云利用视频 AI 云剪辑 媒资管理的技术，赛后为球星们生成集锦视频，不仅可为生产方快速提供素材，还可满足球迷们的“追星”需求。阿里云智能集锦技术与传统的人工制作方式相比，可在比赛结束后分钟级生成集锦视频，速度提升 10 倍以上。目前世界杯球星集锦功能已在阿里云视频点播产品上线，后续会对用户开放足球赛事明星集锦的功能，用户只需开通相关 AI 服务就可以零门槛使用该功能。接下来，本文就将揭秘世界杯球星智能集锦的技术实现过程。球星集锦的整体实现流程如下图所示：左侧使用了视频云的基础能力：直播媒体处理点播，得到用于进行集锦处理的原始素材，本文则重点介绍右侧视频 AI云剪辑媒资库的部分。回顾俄罗斯世界杯，揭秘球星智能集锦技术 15 1.球星注册 虽然视频云的明星识别服务已经内置了 5000 的明星，但为了提升球星识别的准确率，我们采用了自定义人物库 人物注册的方式，为世界杯的球星建立独立的人物库，并选取合适的球星照片进行注册。一方面降低了识别过程受到相似明星干扰的几率，另一方面人物库的规模精简，也将提升人物识别的速度。2.多模态融合的视频 AI 技术 球星集锦的第一步：人物识别。视频云提供的人物识别服务可以识别视频中已注册的球星并进行人物 Target 追踪，同时在工程层做了一定程度的容错处理和补偿优化，会对人物在视频中出现的时间线、幅面坐标及置信度进行综合的动态分析，以减少算法在某些帧识别率低（比如画面变化剧烈、人物转头角度过大等情况）而导致人物时间线中断的问题。最终我们可以得到球星们的人物区间组，这也是球星集锦的基础区间组，如下所示，以某个球星的人物区间组为例：R1=f1s,f1e,f2s,f2e,fms,fme 但仅靠人物识别是远远不够的，因为人物识别对视频中人物出现的像素，角度以及清晰度都有一定的要求，对于在世界杯比赛占很大比例的全景镜头中出现的球星们，人物识别显得无能为力。甩出两行照片做对比更为直观：回顾俄罗斯世界杯，揭秘球星智能集锦技术 16 第一行的两帧画面，C 罗无疑可以通过人物识别技术被识别出来；然而第二行的两帧画面，红框里穿红色球衣的也是 C 罗.但根本找不到人在哪儿。因此只靠人物识别做出来的不是球星集锦，而是.球星正脸大头集锦。所幸，我们还有 ASR、OCR 和 MAM。就与解说在足球比赛中的发挥着至关重要的作用一样，语音识别 ASR 也是球星集锦不可或缺的又一利器。而比赛的解说词包含了非常丰富的信息，在球星集锦的实现过程中，我们使用了世界杯场景的语音识别模型，该模型对球员名称、足球术语、解说员的语速/语气/语调等进行了额外的训练和优化，尤其是在声学模型上针对足球场景下的球场噪声及观众噪声进行了适应性训练，使得其最终对世界杯解说词的识别准确率提升了超过 10 个百分点，高达 90%以上。我们通过 ASR 可以拿到将比赛按语音断句结构化分析的结果，如下所示：R2=a1s,a1e,a2s,a2e,ans,ane 至此，我们已经获取了两组时间线数据，分别是人物时间线和解说词时间线。后面将真正开始进行工程层面的多模态融合，这个过程也将对足球场景进行深入理解和分析。在世界杯比赛中，镜头切到球员特写画面时，一般情况下，标志着某个事件进展了一半。为什么会这么说呢？世界杯比赛的转播一般有几十个机位，大致包括全景、中近景、特写及用于慢放的高速摄像机等机位，正常情况下导播会切到全景机位进行转播，只有当某些事件发生后，才会切到中近景及特写机位，如下图：回顾俄罗斯世界杯，揭秘球星智能集锦技术 17 切到近景/特写之前，往往是事件的前序和铺垫；切到近景/特写之后，将会是事件的高潮与慢镜回放：而使用往届世界杯比赛视频进行训练的结果也验证了这一点。因此我们使用球星的每组人物区间为基础，将其区间的入点和出点向两侧延伸一段距离，形成新的区间组：R3=f1s-i1s,f1e i1e,f2s-i2s,f2e i2e,fms-ims,fme ime 回顾俄罗斯世界杯，揭秘球星智能集锦技术 18 如果新的区间组内包含了与球星相关的关键事件，则使用该区间组；如果没有则使用原区间组。看似简单的规则，实际还需要解决几个关键问题：如何识别关键事件 在本次球星集锦的实现方案中，主要靠语音关键词完成。具体包括球员名称/别名，以及足球比赛的关键事件词，而这些关键事件词则以进球与射门相关词条为主。因此将解说词时间线的区间组与 R3 进行交叉匹配，如果命中了关键事件，则保留解说词中的该区间组，并与 R3 中时间区间的入出点取并集，如下，R3 的某些时间区间将进一步修正：R4=f1s-i1s,i1e i1e,aks,ake,fms-ims,fme ime 如何判断关键事件与当前球星有关 需要进一步结合文本识别 OCR 与比赛实时场记 Live Blog 的获取与生成。通过 OCR我们可以监测比分的变化及比赛其他重要实时信息（可能包括关键球员名称及事件等）。回顾俄罗斯世界杯，揭秘球星智能集锦技术 19 如果没能通过 OCR 获取需要的数据，则可以进一步借助 Live Blog，从互联网（比如 FiFa 官网的 Match Live Blog）爬取相关信息，并结合媒资库中的球星库，快速生成基于人物的场记信息。这里也是当前做的不太好的地方，当无法验证关键事件与球员相关性的情况下，该球星的集锦可能会出现无关画面。如何决定新的区间组应该往两侧延伸多少时长 与媒资库/往届世界杯视频的训练数据有密切关系。媒资库-球星库中的球星，包括名字、国家队、位置、编号等信息。不同位置的球员在关键事件中停留的时长也不同，而这个参考值则来源于对往届世界杯视频训练的结果。如何保证片段的完整性及片段间的平滑切换 在本项目没有用到镜头检测的前提下，仍然依赖语音识别结果来予以保证。结合语音识别的断句及句子的连续性校验，当某个区间组的 In 或 Out 落在某句解说词中间，则修正 In/Out，与语音识别文本条目的 In/Out 一致，如下：R5=f1s-i1s,aje,aks,ake,fms-ims,fme ime 3.云剪辑 云剪辑是生成球星集锦的最后一步。云剪辑服务接收视频 AI 输出的最终时间线，对原始素材进行剪切合并。可根据需要开启并行剪辑模式，分片剪辑后合并。这种模式下，原始素材片段越多，剪辑倍速越高。可接收高级剪辑参数，如在不同剪辑片段之间增加转场，在球星首次特写帧增加贴纸，使用背景音乐，增加片头片尾等，丰富集锦效果。回顾俄罗斯世界杯，揭秘球星智能集锦技术 20 4.后续优化 第一个需要优化的点是集锦产出的时效性：由半场比赛结束才开始 AI 处理，改为取一定时长的分片（比如 5 分钟）依次处理，最后再将处理结果进行合并，可使集锦的生产速度提升到赛后分钟级。其次，在整个 AI 处理中增加镜头检测、关键动作识别、人物跟踪的功能，可以为每位球星获取更为精准的时间线。最后，在云剪辑服务中增加剪辑 Effect 模版的功能，将剪辑的高级功能封装到模版中，降低视频 AI 与剪辑结合的使用成本。5.扩展性 在当前的技术条件下，不谈场景讲 AI 是不客观的。基于对足球比赛的转播、打法、规则、套路、球星们的了解，最终在一周内完成球星集锦的初版开发。而针对世界杯场景的球星集锦也相对比较容易扩展，在对球员数据、比赛视频进行补充训练的基础上，可考虑应用于足球比赛的人物集锦。另外，基于工程层面的多模态融合，经过总结抽象，也可在其他 AI 场景中尝试应用。基于智能集锦技术，阿里云为世界杯球迷提供赛后分钟级生成的精彩集锦画面，与此同时，大大缩短了企业内容生产的制作效率，为云端智创提供新的商业价值。发布时间：2018 年 7 月 9 日 作者：鹭青 第二章 NBA 总决赛：窄带高清的视觉渲染力（此页面将由下图全覆盖，此为编辑稿中的示意，将在终稿 PDF 版中做更新）如临现场的视觉感染力，NBA 决赛还能这样看？22 如临现场的视觉感染力，NBA 决赛还能这样看？作为篮球界的顶级赛事，2022 NBA 总决赛吸引了众多关注，互联网各大平台的赛事直播气氛也异常热烈。平台如何既能展现专业的赛事解说，又能与球迷观众深入互动？百视 TV 在 NBA 总决赛期间，作为全网唯一采用“主播陪你看 NBA”模式的直播平台，吸引了大量流量。与传统的赛事直播解说相比，百视 TV 的主播们用“唠嗑”的方式让球迷能参与进来，为球迷朋友们带来“零时差、超沉浸”的互动观赛体验。采取“陪看型”赛事解说是百视 TV 在面对内容差异化竞争的重要举措，为了带来更优质的观看体验，百视 TV 联手阿里云视频云在赛事直播画面质量上打造更进一步的体验提升。1.窄带高清 2.0：打破赛事直播画质痛点 赛事直播是面临痛点的。如临现场的视觉感染力，NBA 决赛还能这样看？23 篮球赛事直播相比泛娱乐和电商场景，由于画面切换快、运动性很强，往往需要高码率流。然而，高码率的直播在跨国传输中可能会受网络质量波动，造成音视频卡顿及延迟。为了保证直播的稳定性和基于播放端的丝滑观赛体验，百视 TV 选择了较小码率的源流。然而，相比于高码率流的画面画质，低码率流会有较明显的压缩失真、细节模糊和弱纹理丢失。对于篮球赛事场景来说，就会造成如球星球衣上的文字模糊、篮网模糊、边界线及地面上文字边缘毛刺多等诸多画质现象，导致观看体验不佳。为了更好地平衡直播流畅性、稳定性和高清画质体验，百视 TV 在 2022 NBA 决赛转播过程中先选择相对较低的码率实现稳定的跨国传输，将源流拉到国内后再做修复，在此过程中，百视 TV 便使用了阿里云视频云的“窄带高清 2.0”技术。如下图，通过“窄带高清 2.0”技术的自适应亮度、对比度和色彩增强算法，智能化增强赛场画面中较柔和及灰暗颜色的强度，为低码率的源视频增强整体画面色彩表现力，提升观赛体感。如临现场的视觉感染力，NBA 决赛还能这样看？24 上为源流效果，下为修复后效果 阿里云视频云的“窄带高清 2.0”引入 AI 进行细节、色彩自适应修复和增强，从人眼视觉模型出发，将编码器的优化目标从经典的“保真度最高”调整为“主观体验最好”。降码 由于人眼感知的视频空间域的亮度、对比度以及时域失真是不连续的，通过自适应编码技术丢弃视觉冗余信息，在主观质量不发生明显降低的情况下能大幅节省码率，即，使用“窄带高清”转码相比普通转码，可节省至少 20%-40%左右的码率。如临现场的视觉感染力，NBA 决赛还能这样看？25 高清 同时，通过视频压缩失真程度自动检测算法，以及对编码器的主观体验优化，强化人眼关注的细节、聚焦区域、规则纹理，通过自适应亮度、对比度和色彩增强算法，来使整个画面更加生动自然。据百视 TV 相关技术人员描述，使用窄带高清技术后，双屏显示器上的“源流视频”与“修复后视频”的对比效果非常明显。点击这里查看视频：左为源流效果，右为修复后效果 专为篮赛场景定制模板 此外，阿里云视频云的算法团队针对篮球赛事场景，专为百视 TV 定制了直播赛事的转码模版和 AI 修复模型，并针对 NBA 比赛场景做了特别优化，加强了篮球场地板纹理、球员近景特写、球场边界线、地面广告字母、球衣上数字、篮球网等等篮球体育赛事特有元素的修复生成。如下图，即使在镜头高速运动及画面切换下，并且将画面细节高度放大，“窄带高清”技术也依然可以将球场边界线、地面广告字母的细节做到完美的修复，大大提升画面清晰度和整体视觉表现。如临现场的视觉感染力，NBA 决赛还能这样看？26 左为源流效果，右为修复后效果 2.广电级文体直播的能力演进 阿里云视频云的“窄带高清”概念最早在 2015 年提出，在多年反复实践于众多互联网与传媒行业中，该技术在持续不断地研发演进，以契合不同场景对于低码率和高清晰的体验调和。如临现场的视觉感染力，NBA 决赛还能这样看？27 尤其是如今的窄带高清 2.0，作为阿里云文体直播解决方案的一项重要技术，突破当代视频编码器的能力上限，对技术进行升级与迭代，深度优化视频播放的流畅度与高清度，实现在同等画质下更省流、在同等带宽下更高清的商业价值和观看体感，双重满足企业与观众。同时，窄带高清 2.0 更有面向不同行业、场景的转码方案，如体育赛事、演唱会、文化演出等场景，也支持结合杜比音效提供影院级视听享受，为大型文化活动与体育赛事直播带来极致流畅、视觉饱满、深度沉浸的观看体验。在核心能力之上，阿里云系统化的文体直播解决方案能力更加全面有力。其中，基于全球实时流媒体传输网络（GRTN），可以保障千万级用户高并发下的高品质观看体验；全链路灾备与应急预案，以及多年直播最佳实践经验，可以确保大型直播落地的高可靠性；云上导播与互动虚拟演播技术，带来制播一体的云端效能和实时沉浸互动的直播新体验；同时，在“窄带高清”转码技术之上，加之超高清4K/8K、杜比音效、50 帧等音视频能力，整体带来极致视听。一切都是极致的、智能的、高品质和高体验的。基于这样的能力，阿里云的文体直播解决方案已实现大量的顶级赛事和重大活动的直播验证，在无数次历练与创新中积累了深厚的技术基础与实战经验，也让全球观众第一时间享受高品质的第一现场。一切因技术而不同，期待更多精彩赛事下的技术更迭与体验升级。发布时间：2022 年 6 月 24 日 作者：IMMENSE NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 28 NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 在 2022 年 6 月的 NBA 总决赛中，百视 TV 作为全网唯一采用“主播陪你看 NBA”模式的直播平台，以“陪看型”赛事解说来面对内容差异化竞争。与此同时，百视TV 还运用了“窄带高清 2.0”直播转码技术，为观众在赛事画面质量上打造更进一步的体验提升。简单来说，“窄带高清”是一套以“主观体验最好”为优化目标的视频编码技术，让我们看一张对比图，感受一下画质提升效果：上图为主播推流原画，下图为修复后画面 NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 29 上图上半部分是主播推流的原画，下半部分是使用窄带高清 2.0 技术转码后的画面。可以看到，经过窄带高清 2.0 技术转码，球衣上的数字、地板上的英文字母、篮网、边界线等变得更加清晰。此外，画面整体清晰度都有明显的提升，甚至地板纹理和场外观众轮廓都会肉眼可见变得更加清晰。下文将深度解读为 NBA 直播赛事带来超清画质背后的“窄带高清”技术原理。1.窄带高清技术 阿里云早在 2015 年就已经提出了“窄带高清”的概念，在 2016 年正式推出窄带高清技术品牌并进行产品化。窄带高清代表的是一种成本与体验相调和的视频服务理念，是以人眼主观感受最优为基准的视频编码技术。“窄带高清”示意图 窄带高清本质上是一个质量提升和压缩的问题，主要目标是追求质量、码率和成本的最优均衡。在这个方向有两个版本，即窄带高清 1.0 和窄带高清 2.0（以下简称“窄高”）。窄高 1.0 是均衡版，主要作用是如何用最少的成本去实现自适应的内容处理和编码，达到节省码率的同时实现画质的提升。所以，在窄高 1.0 充分利用编码器里的信息帮助视频处理，即用成本很小的前处理方法实现低成本的自适应内容处理和编码。同时，在编码器里，主要是基于主观的码控。NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 30 窄高 2.0 和窄高 1.0 相比会有更多的、更充分的和复杂度更高的技术来保证自适应能力，包括 JND 自适应内容编码、ROI 编码、SDR 、更自然的细节增强等。同时，在窄高 2.0 里增加了更适用于高热内容的修复能力，在质量提升的同时，码率节省也更多。2.赛事直播的挑战 当前，窄带高清技术在长视频、短视频、泛娱乐、在线教育、电商直播等场景有着广泛应用。相较于长视频和电商直播等场景，NBA 篮球赛事直播由于画面切换快、运动性很强，往往需要高码率流。然而，高码率的直播尤其是 NBA 比赛直播在跨国传输中可能会受网络质量波动，造成音视频卡顿及延迟。为了保证直播的稳定性和基于播放端的丝滑观赛体验，百视 TV 选择了较小码率的源流。于是，面临真实场景下的多个挑战：挑战 1：低码流导致赛场画面模糊失真 相比于高码率流的画面画质，低码率流会有较明显的压缩失真、细节模糊和弱纹理丢失。对于篮球赛事场景来说，就会造成如球星球衣上的文字模糊、篮网模糊、边界线及地面上文字边缘毛刺多等诸多画质现象，导致观看体验不佳。挑战 2：剧烈运动画面的“去交错处理”残留 除了低码率流带来的压缩失真细节模糊外，体育比赛场景还有一个特有的问题，即原始信号一般是隔行扫描采集的，在互联网传输时首先需要做“去交错处理”，但是对于剧烈运动画面，很难保证有完美的去交错处理，通常会有一些“交错”没有去除干净，形成一些残留噪声。NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 31 挑战 3：数次转码后的画面损失 此外，基于企业客户当前业务逻辑，直播视频从拍摄到终端用户，经历了数次转码，每一次转码，都会带来一定的压缩失真和画质损失。为了更好地平衡直播流畅性、稳定性和高清画质体验，百视 TV 在此次 NBA 决赛转播过程中先选择相对较低的码率实现稳定的跨国传输，将源流拉到国内后再做修复，在此过程中，百视 TV 便使用了阿里云视频云的“窄带高清 2.0”技术。3.针对体育赛事的解决方案 针对体育赛事视频，如果简单地使用阿里云线上常规窄带高清转码，存在两大弊端：难以修复体育赛事视频中的特有噪声，同时还有可能把一些噪声放大，从而影响观看体验。常规窄带高清无法对篮球场景的特有元素比如球衣上数字、篮网、边界线等实现完美修复。为此，窄带高清 2.0 针对体育赛事场景，对已有的原子算法能力进行了优化组合，同时部分算法针对篮球赛场景进行了定向调优。最终采用的转码流程如下图所示：直播转码算法流程 NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 32 4.关键技术解析 1)视频理解 极致修复生成 前面已提到我们输入源本身画质不高，同时还经过了多次转码，因此第一个处理步骤为修复生成，其主要目的是修复视频中的多种瑕疵，比如压缩块效应、压缩伪影、边缘毛刺、去交错后残留噪声、模糊等，同时生成一些因压缩丢失的细节纹理。学术界有不少利用深度学习去专门做去压缩失真、专门做去模糊的研究工作。比如早期做图片去压缩的 ARCNN1，做视频去压缩的 MFQE2，早期端到端去模糊算法DeepDeblur3。比较新的方法有：自带压缩程度估计的图片去压缩算法 FBCNN4，基于可形变卷积的视频去压缩算法 STDF5，无需非线性激活的 NAFNet6等等。这些算法大部分都是针对单一任务构造数据集和设计网络结构进行模型训练，得到的模型只能处理单一退化类型，但是在这次百视 TV NBA 比赛直播转码中，我们要处理的视频同时包含多种“退化降质”，除了典型的视频压缩，还有相机失焦模糊/运动模糊，去交错后残留噪声等。图片去压缩算法 ARCNN 的网络结构 NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 33 视频去压缩算法 MFQE 的网络结构 端到端去模糊算法 DeepDeblur 的网络结构 为了解决上述诸多“退化”，一种方式是针对每一种退化训练一个模型，然后依次运行这些模型。这种方式的优点是每个模型的任务变得比较简单，方便构造数据集和训练，但在实际使用时效果并不好，因为其他退化会带来很大的干扰，导致算法性能急剧下降。于是，我们采用了第二种方式，即用一个模型来处理多种退化。第二种方式的好处是可以取得相对更好的处理效果，难点在于训练数据的构造比较复杂，对网络容量的要求较高，需要同时兼顾多种退化方式，这其中还可以有多种排列组合。NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 34 在训练数据构造方面，我们借鉴了图像超分领域的 BSRGAN7/Real-ESRGAN8和视频超分领域的 RealBasicVSR9中的数据退化方式，同时添加了一些体育赛事直播场景特有的退化模式来模拟场地边界线处的锯齿、白边等瑕疵。在网络结构方面，为了减少计算量，我们采用了单张图片处理方式，可以采用经典的 ESRGAN10模型或常见的 UNet12结构，亦或 ResSR13提到的 VGG-Style 结构。在损失函数方面，考虑到需要修复因各种退化丢失的细节，除了使用常见的 L1/L2 loss 外，还使用了 percectual loss 和 GAN loss。BSRGAN 提出的多种图像退化方式 基于 GAN 的生成网络的一个主要问题是鲁棒性和时域连续性不够好。鲁棒性问题是指能否稳定地生成比较自然的纹理，比如有些 GAN 模型有时生成出来的细节纹理比较奇怪不自然，尤其是当在人物区域生成一些奇怪纹理时会比较恐怖。时域连续性问题是指相邻帧生成出来的纹理是否保持一致，如果不一致则会产生闪烁现象，降低观看体验。为了解决鲁棒性问题，尤其是人物区域鲁棒性，我们借鉴了 LDL14中通过检测 fine-scale details 区域并加以额外惩罚来提升 fine-scale details 生成效果的思想，通过人物区域分割得到人物区域，对人物区域生成效果施加额外的惩罚来提升人物区域细节生成的鲁棒性。NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 35 人物区域分割 针对时域连续性问题，我们采用了 TCRnet 网络来作为额外监督信号来提升。TCRnet网络原本用于超分任务，通过简单改造可用于修复任务，该网络用 IRRO 偏移迭代修正模块结合可变形卷积，来提高运动补偿的精度，同时利用 ConvLSTM 进行时序信息的补偿防止造成信息误差，从而提升时域连续性。TRCNet 网络结构 NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 36 下面两张图对比了源流和修复后效果。从第一张对比图可以看出，修复后地板上的字母 GARDEN 的边缘变得非常清晰锐利，边界线、球员轮廓及球衣上数字 22 也变得更清晰，此外地板纹理也得到修复。第二张对比图也能看到场外观众轮廓和衣服上线条变得更清晰，此外原本扭曲成锯齿状的地板边界线也变直了。NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 37 模型加速 为了获得极致修复生成效果，基于深度学习的 AI 算法通常是首选算法。但深度学习算法的一个问题是计算量大，而对于视频修复生成这种 low level 视觉任务来说，计算量比普通 high level 视觉任务还要大很多。一方面，视频修复生成模型的输入通常是视频原分辨率，而像检测分类这种 high level 处理模型的输入分辨率，可以比原分辨率小很多，且基本不影响检测分类性能。而同样的网络结构，输入分辨率越大计算量越大，所以视频修复模型的计算量要大很多。另一方面，视频修复生成模型的输出是和输入视频同分辨率的视频帧，这势必使得模型后半部分的计算量也会很大，因为后半部分也需要在比较高的分辨率特征图上做计算，不像检测分类 high level 任务只输出目标框或类别这种语义信息，模型后半部分虽然通道数多但因为特征图分辨率小所以总体计算量小很多。此外，对于体育赛事直播，视频帧率通常都是 50fps，蓝光档位的分辨率通常是1080p，也就是深度学习模型在 1080p 输入下需要至少跑到 50fps，这对深度学习算法是非常大的挑战。针对这一情况，我们从多个维度进行模型推理加速。首先，对深度学习模型做压缩，比如通过神经架构搜索（Neural Architecture Search，NAS）或剪枝降低模型大小，为了弥补模型变小之后的性能损失，需要对压缩后的模型，进行知识蒸馏训练提升小模型的性能，此外还可以通过 8bit 整型量化或者FP16 半精度来进一步降低计算量。其次，可以通过选择合适的硬件和推理框架来获得极致的速度提升，比如使用高性能 GPU 卡和配套的推理框架实现最优配置。为了进一步提升推理速度，还可以使用多 GPU 卡并行计算。通过上述多种方式加速，在 1080p 分辨率输入下，处理速度从 8fps 提升到 67fps，完全满足 50fps 直播转码需求。NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 38 深度学习算法加速分类 清晰度增强 为了提升观看体验，在上述极致修复生成基础上，进一步做了清晰度增强处理。最简单的清晰度增强算法就是做锐化处理，比如 ffmpeg 自带的 unsharp 和 cas 就是两种简单的锐化算法。unsharp和cas这两种方法都是基于USM（UnSharp Mask）框架设计的，USM 框架可以用如下公式15来描述：其中，original 待锐化的图像，blurred 是 original 的模糊版本，比如高斯模糊后的版本，这也是 unsharp 名字的由来。（original-blurred）表征的是原始图像的细节部分，乘以 amount 之后叠加到原图,即可获得细节更锐利看起来更清晰的图sharpened。NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 39 除了锐化，还可以通过调节对比度、亮度、色彩等方法来提升清晰度。在百视 TV 篮球赛直播中，我们使用自研的锐化、亮度、对比度和色彩增强算法来实现清晰度的进一步提升。其中，相比开源锐化算法如 unsharp，阿里云视频云自研锐化算法具有如下特点：更精细的图像纹理细节提取方式：能提取不同尺寸，不同特征的图像纹理结构，增强效果更优；通过对图像内容纹理结构分析，根据区域纹理复杂度实现局部区域自适应增强；与编码结合，根据编码器的编码信息反馈，来自适应调整增强策略。细节增强（锐化）算法流程 2)码率分配 JND 通过前面的极致修复生成和清晰度增强，细节信息得到极大增加，同时我们希望经过压缩编码后能尽量保留这些信息。我们知道，传统的视频编码是基于信息论的，所以它在一直做时域冗余、空域冗余、统计冗余等等冗余的去除，但是对视觉冗余的挖掘是远远不够的。下图取自于王海强博士的一篇 paper，它的思路是传统做 RDO，是一个连续的凸曲线，但在人眼中它是个阶梯形的，那我们只要找到这个阶梯就可以省下码率，同时不影响主观质量。JND（Just Noticeable Difference）正是基于这个思路对视觉冗余进行挖掘。NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 40 比特率与感知失真关系 阿里云视频云自研的 JND 算法从空域和时域两个维度，对视觉冗余进行充分挖掘，实现在通用场景下，同等主观质量码率节省 30%以上。有了该自研 JND 算法，使得通过极致修复生成和清晰度增强获得的细节信息经过较低码率编码后，仍然得以保留。JND 算法流程 NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 41 ROI 前面所述的 JND 算法通过对视觉冗余的挖掘能节省 30%以上的码率，但这种码率节省是完全基于 low level 统计信息来获得的，并没有考虑 high level 语义信息。针对体育赛事场景中观众们很关注的人物近景特写镜头，我们希望能够让人物特写更清晰地呈现在观众面前。除了通过极致修复生成获得清晰人物特写外，还要通过某种方法使得编码后仍然保持清晰。在此，需要用到我们自研的 ROI 编码技术。ROI（Region Of Interest）编码是一项基于感兴趣区域的视频编码技术，简单来说就是给图像中感兴趣区域分配更多码率已提升画质，对其他不感兴趣区域分配较少码率，可实现总体码率基本不变的情况下提升视频整体观看体验。ROI 编码的主要难点在于：要有成本足够低速度足够快的 ROI 算法，以满足高分辨率高帧率体育赛事直播要求。如何基于 ROI 进行码控决策，使得 ROI 区域主观质量提升，非 ROI 区域主观不下降，同时保持时域连续不闪烁。在低成本 ROI 计算方面，我们自研了自适应决策的人物检测跟踪算法，即大部分时间只需要做计算量极小的人物跟踪，只有少部分时间需要做人物检测，从而实现超低成本和快速 ROI 获取，同时保持很高的精度。在码控决策上，一方面与编码器结合，在主观和客观之间取得均衡，保持时域一致；另一方面与 JND 结合，在 ROI 和非 ROI 之间取得主观均衡，从而实现场景、质量自适应的码率分配。NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 42 ROI 算法流程 3)编码内核 针对体育赛事直播场景，在视频编码内核方面，我们做了主观快划分优化和块效应优化，以提升压缩后视频的主观清晰度，降低块效应，从而提升整体观看体验。主观块划分 编码器的块划分模式决策是根据最佳率失真模型 RDO（Rate Distortion Optimization，率失真优化）来决策：其中 D 表示失真，R 表示编码当前模式所需的 bit 数。在块划分决策时，有时会出现最终决策为大块，但从主观上看划分为小块的结果更好的情况。这是因为大块模式虽然失真 D 更大，但 R 更小，导致编码器最终决策为大块划分。针对这种情况，我们修改了不同块划分模式的失真表达式，针对不同大小的块增加不同的权重系数，使得最终划分的结果与主观更一致。NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 43 优化前 优化后 优化前块划分 优化后块划分 块效应优化 视频编码的率失真理论与人眼感受比较贴切，按照率失真理论构建的编码器也是对人眼主观质量的优化，唯一的问题在块效应，因为人眼会放大直线，对块效应很敏感。NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 44 我们观察到，在基于客观的 RDO（Rate Distortion Optimization，率失真优化），编码部分模式会放大块效应，而 265 协议中的 deblock 在该场景失效。同时我们发现在平坦区域场景，模糊加噪声的效果要优于清晰块效应。基于以上观察，我们采用了如下块效应优化策略以尽量减少块效应，提升观看体验。块效应优化算法流程 下图是我们做块效应优化前后的对比图。可以看出，右边做了优化的结果中块效应明显降低。优化前 优化后 NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 45 4)视频效果展示 通过前述视频处理、码率分配优化和编码内核优化，最终实现画质极致修复和1080p下 50fps 直播转码，为观众提供流畅、稳定和高清的观看体验。点击这里查看视频：左为源流效果，右为修复后效果 由此可见，通过与百视 TV 的 NBA 赛事合作，充分体现了“窄带高清 2.0”技术在篮球赛事直播中对视觉体验提升的重要价值，其带来同等画质下更省流、同等带宽下更高清的商业意义与观看体感平衡。未来，窄带高清技术也将持续升级，通过算法能力进一步提升修复生成效果、降低码率和优化成本。与此同时，该项技术也将应用于更多的顶级赛事活动，在成本优化调和之上，实现视效体验的全新升级。发布时间：2022 年 6 月 29 日 作者：明烁、孟婆 NBA 赛事超清画质的背后：窄带高清 2.0技术深度解读 46 参考文献：1 ARCNN：Chao Dong,et al.,Compression Artifacts Reduction by a Deep Convolutional Network,ICCV2015 2 MFQE：Ren Yang,et al.,Multi-Frame Quality Enhancement for Compressed Video,CVPR2018 3 DeepDeblur：Seungjun Nah,et al.,Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring,CVPR2017 4 FBCNN：Towards Flexible Blind JPEG Artifacts Removal,ICCV2021 5 STDF：Jianing Deng,et al.,Spatio-Temporal Deformable Convolution for Compressed Video Quality Enhancement,AAAI2020 6 NAFNet：Liangyu Chen,et al.,Simple Baselines for Image Restoration，https:/arxiv.org/abs/2204.04676 7 BSRGAN:Kai Zhang,et al.,Designing a Practical Degradation Model for Deep Blind Image Super-Resolution,CVPR2021 8 Real-ESRGAN:Xintao Wang,et al.,Real-ESRGAN:Training Real-World Blind Super-Resolution with Pure Synthetic Data,ICCVW2021 9 RealBasicVSR:Kelvin C.K.Chan,et al.,Investigating Tradeoffs in Real-World Video Super-Resolution,CVPR2022 10 ESRGAN:Xintao Wang,et al.,ESRGAN:Enhanced Super-Resolution Generative Adversarial Networks,ECCVW2018 11 ESRGAN:Xintao Wang,et al.,ESRGAN:Enhanced Super-Resolution Generative Adversarial Networks,ECCVW2018 12 UNet:Olaf Ronneberger,et al.,U-Net:Convolutional Networks for Biomedical Image Segmentation,MICCAI2015 13 RepSR:Xintao Wang,et al.,RepSR:Training Efficient VGG-style Super-Resolution Networks with Structural Re-Parameterization and Batch Normalization,https:/arxiv.org/abs/2205.05671 14 LDL：Jie Liang,et al.,Details or Artifacts:A Locally Discriminative Learning Approach to Realistic Image Super-Resolution,CVPR2022 15 USM：https:/en.wikipedia.org/wiki/Unsharp_masking 第三章 2022 北京冬奥会：百年奥运的黑科技（此页面将由下图全覆盖，此为编辑稿中的示意，将在终稿 PDF 版中做更新）视频云的百年奥运 云上故事 48 视频云的百年奥运 云上故事 2022 北京冬奥会是一届非凡的存在。“奥运 120 多年历史，是人类更高更快更强的拼搏史，也是科技应用的演变史。从时间维度看，奥运是一个传统产业，但基于数字化，奥运正焕发着新光彩。北京冬奥会以前所未有的数字化水平，让更多人感受奥运文化与精彩。”国际奥委会主席托马斯巴赫说。无疑，科技和绿色，是北京冬奥的内核特质，若再加叠一个扑面而来的印象，也许是美学冬奥。无论为冬奥的科技、冬奥的绿色、抑或冬奥的唯美，在阿里云支撑冬奥全面上云的大背景下，阿里云视频云也在全面助力“上云”和全新创造云上的一切，如云上实时交互，云上内容沉浸、云上智能生产等等，以视频云技术创造百年奥运史的一场新内容与新交互之旅，在云上，为百年奥运留下浓墨般的众多“第一次”。1.云上实时交互 第一次在奥运会实现异地全息会面，打破时空之距。视频云的百年奥运 云上故事 49 2022 北京冬奥，无畏尔疆我界，你我尽可咫尺。冬奥会在面临 Covid-19 限制和物理隔阂之下，即使千里之外，人与人的会面也可以透过绿色科技之光而以全息形态实现。基于 AliRTC（阿里云音视频通信）技术，阿里云视频云推出全新的云上创新解决方案阿里云聚“Alibaba Cloud ME”，第一次在百年奥运史上跨越物理空间，打造多人异地远程全息会面，创造了人与人之间的“云聚”时刻。该方案通过阿里云的 RTC 网络，结合视频超高清技术，最终以人物的发丝级全尺寸全息复刻、眨眼般的 200 毫秒超低延时，和稳若磐石的网络传输，实现多人之间身临其境的沉浸实时交互，让更多奇迹由此发生。视频云的百年奥运 云上故事 50 奥运内外，现在未来，无论多想见的人、多遥远的客户、多难相聚的团队，都能透过阿里云视频云的 Cloud ME，以云聚之力，咫尺相见。2.云上内容沉浸 第一次在奥运会启用互动虚拟演播，打造沉浸报道。2022 北京冬奥，即便冰雪之外，亦可沉浸其中。作为全新的云导播互动虚拟演播技术，这是百年奥运以来的首次启用，为 CGTN 在北京冬奥的记者连线报道中充分应用，打造了此次奥运赛事报道的沉浸式体验。视频云的百年奥运 云上故事 51 阿里云视频云的“虚拟演播厅”，在东京奥运会就曾进入奥运村，而此次技术方案全面升级，达到广电级导播效果，接入门槛也极大降低，大大拓展了该技术的应用场景。同时，在链路上打通了 GRTN 和 RTC 网络，将多机位、多视角实时同步的技术能力、与 RTC 的实时连麦、异地开播能力结合，实现主播、嘉宾的多层虚拟背景等能力叠加，提升沉浸式直播体验，在互动效果上全面提升到新的境界。互动虚拟演播厅在业界打破技术瓶颈，是国内首个纯云端实景抠像合流技术，也是国内首家“端云无缝衔接”的导播平台，同时达到广电级的节目制作水准，在此次冬奥全程助力媒体实现全链路的制播上云，对传统新闻节目制作创造了全新场景。3.云上智能生产 第一次以“AI 云智剪”登陆奥运会，创造美学生产。视频云的百年奥运 云上故事 52 2022 北京冬奥，每一场凌空之美，皆是 AI 的人文美学。回顾奥运赛期，每天都在上演冰雪传奇，而捕捉发生瞬间，凝结最精彩、最动人的体育人文画面，让“冰之舞”、“雪之舞”、“速度之美”、“凌空之美”如盛宴绽放，让“金牌时刻”与“国将风采”瞬即永恒。实现这一切的，源自阿里云视频云 AI 编辑部提供的云上智能生产能力“AI 云智剪”。“AI云智剪”作为主题集锦的智能生产工具，在制作赛事短视频时，可以兼顾实效、精彩、人文、美学，实时完成多赛事的智能内容理解，智能化自动生成大量精彩视频素材，覆盖赛场动作、赛事内容、各类镜头等多个描述维度，生成丰富的美学主题的集锦素材。依靠阿里云视频云强大的流媒体处理能力和 AI 综合能力，“AI 云智剪”在每场比赛结束的第一时间即对视频内容进行多维解析，并基于跨视频集锦生产能力，在 2-3 分钟内诞生大量主题集锦视频并可实时传播，冬奥期间共生产 39878 段素材，覆盖超 200 场比赛。4.奥运全面上云 2022 北京冬奥的核心信息系统实现了 100%上云，奥运最核心的赛事成绩、赛事转播、信息发布等信息系统迁移至阿里云上，这是首个全面上云的冬奥会。冬奥全面上云的一个重要的变化是，奥运转播不再仅仅依赖卫星传输，而通过“奥运转播云”带给全球数十亿观众。东京奥运会时，阿里巴巴帮助奥组委实现了奥运史上首次采用云计算支撑全球直播，被誉为 1964 年东京奥运会首次通过卫星转播后的再一次技术革命。北京奥运会，阿里巴巴与奥林匹克广播服务公司联手打造出奥林匹克转播云 OBS Cloud，为转播方提供云上解决方案，实现了高清电视直播和网络渠道直播同时在云上转播。视频云的百年奥运 云上故事 53 这带来两个明显变化：播放速度的提升，能够做到在全球各地以及各网络平台，进行超过 6000 个小时几乎 0 延迟、0 卡顿的转播内容。在画质上，云上转播突破了传统的 2k，全程以 4k 超高清格式转播，部分重要赛事以 8k 格式转播，让观众“身临其境“。5.云上全程护航 奥运全程护航，丝滑演绎开闭幕式的中国浪漫。2022 北京冬奥，黄河之水天上来，折柳寄情化诗画，丝滑间尽是视频云保障的中国浪漫。视频云的百年奥运 云上故事 54 反观这场冬奥会的顶流瞬间，大概即是人文传奇般的开闭幕式。2 月 4 日，冰立方雕刻出奥运五环，一滴冰蓝墨化出黄河之水；2 月 20 日，柳枝送别，演化中国送迎八方来客的诗意。云上重现这场绝美盛宴，重保护航不可或缺。奥运内容在众多媒体平台上大量涌现，而基于云上的媒体处理是重要一环。冬奥期间，阿里云视频云全程支持奥运会主转播商的媒体处理服务，进行奥运视频的云上转码，以便视频内容能够高效稳定的输出，并进行多终端的极速分发和流畅的播放演绎。在冬奥会的筹备前期，阿里云视频云团队就聚焦冬奥视频链路的各个环节，进行了大量的测试、验证和应急预案制定，以最大程度保障奥运服务的稳定性。在整个冬奥期间，视频云技术在云上全力支撑，实现媒体处理服务零异常，运行极度平稳。同时，阿里云视频云还保障了众多重要媒体平台在冬奥期间的直播活动，尤其针对开闭幕式多个平台直播的高画质、高流量需求，提供了多直播平台的转码、录制、切片、时移、播放，以及广目监播系统等全链路服务，保障直播运行极致平稳，帧率无抖动发生，让冬奥会活动的每一帧都极度流畅，丝般顺滑，完美呈现。2022 北京冬奥，是云化的冬奥，上云后的全面数字化，贯穿了从内部管理到外部观影，使得奥运赛场内外有了全新的体感、体验。对奥运来说，这是全新的起点。对视频云来说，这是全新的云上故事，且，故事未完待续。发布时间：2022 年 2 月 23 日 作者：IMMENSE 百年奥运的瞬即美学：凌空之美，分秒凝结AI 编辑部“云智剪”55 百年奥运的瞬即美学：凌空之美，分秒凝结AI 编辑部“云智剪”冬奥期间，每天都在上演冰雪奇迹，而捕捉发生瞬间，凝结最精彩、最动人的体育人文画面，让“冰之舞”、“雪之舞”、“速度之美”、“凌空之美”如盛宴般绽放，让“金牌时刻”与“国将风采”变成永恒回荡时空。而实现这一切的，源自阿里云视频云 AI 编辑部提供的云上智能生产能力AI 云智剪。1.“AI 云智剪”首次登场冬奥，展凌空之美 如果说，2022 冬奥开幕式是一场中国对世界讲述的故事，展开的是中国式的浪漫，那冬奥会的瞬间之美，更像是记载历史的青川木牍，展开的是人物和故事的不凡之巅。北京冬奥各项赛事全面而展，冰雪奇迹每日上演。本次冬奥赛事，中国代表团首次实现 7 个大项 15 个分项“全项目参赛”，其中 35 项是首次站上冬奥舞台，如此之多的赛事内容也为奥运的视频生产提供了丰富素材。为了在冬奥赛事短视频内容时兼顾实效、精彩、人文、美学，央视体育新媒体和总台技术团队联合阿里云视频云、阿里巴巴达摩院，引入 AI 编辑部的智能生产工具“AI 云智剪”，可以实时完成多赛事的智能内容理解，在极短时间内智能化自动生成大量精彩视频素材，覆盖赛场动作、赛事内容、各类镜头等多个描述维度，生成美学主题的集锦素材。自由式滑雪女子大跳台，单板滑雪男子大跳台、花样滑冰中，中国选手苏翊鸣、谷爱凌、金博洋、隋文静/韩聪等均表现出色，无论是金牌，还是对自我的突破，其传递的冬奥精神在这个冬日里如烈火般鼓舞人心。百年奥运的瞬即美学：凌空之美，分秒凝结AI 编辑部“云智剪”56 点击这里查看视频：国将风采！赛程过半那些让你心潮澎湃的瞬间 AI 云智剪在比赛完成的第一时间就对视频内容进行了多维度解析，完成了精彩素材生成，同时基于跨视频集锦生产能力，第一时间为观众生产主题集锦视频，截至目前已经自动化处理 200 场比赛，生产素材片段达 3 万段以上，生成的大量主题式视频在央视体育新媒体上即时呈现，迅速传播。点击这里查看视频：金牌时刻！苏翊鸣翱翔天际傲视群雄 百年奥运的瞬即美学：凌空之美，分秒凝结AI 编辑部“云智剪”57 在体育赛事内容传播上，AI 云智剪可以高效、快速、全面地为冬奥赛事播报提供强大的生产力，快速抢占发布先机，也为全球赛事观众带来及时而优质的赛事体感，同时也为媒体行业深度开发体育媒体版权内容价值，创造了更多可能性。针对奥运赛事内容，AI 云智剪设定了丰富的美学主题智能模板，如针对冰球、花滑、速滑、短道速滑等，设置主题“冰之舞”，针对单板滑雪和自由滑雪，打造主题“雪之舞”，同时，从速度型赛事的特殊视角，如花滑的旋转、冰球的进球等，呈现“速度之美”，而对于跳跃性动作丰富的滑雪赛事，塑造“凌空之美”，可谓通过智能化视频云技术，全面捕捉赛事瞬即间的美学光影。点击这里查看视频：御风飞翔！一同领略冬奥会上的凌空之美 2.科技冬奥的新内容生产力 AI 与机器学习在体育媒体视频生产领域的应用是产业的大势所趋，随着数字化媒体的高速演进以及受众媒体内容消费习惯的持续更迭，碎片化的短视频内容已经成为各内容消费领域的主流，体育媒体内容领域也不例外。此次冬奥会更是以科技冬奥为主旨，AI 在其中的作用至关重要，基于 AI 编辑部，其云上智能生产能力“AI 云智剪”在赛事内容生产中发挥了巨大价值，已俨然成为科技冬奥新内容的生产力。百年奥运的瞬即美学：凌空之美，分秒凝结AI 编辑部“云智剪”58 以比赛本身为核心，AI 云智剪通过对赛事内容的精彩信息进行定义、提取，从比赛视频、解说词音频、人物场记等各个维度进行识别与分析，并利用多模态融合技术，从实现复杂场景下的特色集锦效果。AI 云智剪可以对体育赛事视频进行高效的 AI 内容分析，可以实时生成多种类型的集锦内容，除了精彩动作镜头、运动员集锦等单赛事中的重要片段以外，还支持国将风采、凌空之美、小将出征等多种复杂主题类型的集锦视频生产，实现视频内容解析、多类型视频素材生产、跨视频的复杂主题视频生成的多层级短视频生产能力覆盖。AI云智剪依靠阿里云视频云强大的流媒体处理能力，可以保证每场比赛的精彩集锦，在 3-5 分钟内生成，再由平台快速发布出去，极大提升了媒体抢占先机的能力和大众尽享冬奥赛事的体感。AI 云智剪流程图 如上图所示，AI 云智剪的智能生产过程，主要包含两个步骤：AI 模型要对赛事视频进行理解，基于在 AI 领域的长期积累，AI 云智剪可以对多种体育赛事进行细粒度行为、赛场事件、人文事件、镜头类型的深度理解，同时对视频片段进行美学评价、动作精彩度评价、多样性评价，这等同于整个系统的眼睛和大脑，只有看得多、看得细、想得全、想得快，才可以在激烈的冬奥赛场上，为观众们尽快呈现精美绝伦的内容。基于 AI 模型输出的各类型片段和多指标评价，素材生产模块会基于符合权重进行素材选取，生产大量精选素材，同时也输出多种主题集锦素材。百年奥运的瞬即美学：凌空之美，分秒凝结AI 编辑部“云智剪”59 同时，为了响应绿色冬奥的主题，AI 云智剪首次采用了单视频理解模型，对多赛事、多来源、多种类的视频进行内容解析、多类型视频素材生产、跨视频的复杂主题视频生成的多层级短视频生产。该视频理解模型有三点突出的内容价值：可以对横跨自由式滑雪、花样滑冰、单板滑雪、冰球、速度滑冰、短道速滑等多个赛事中的众多细粒度动作进行识别，捕捉精彩瞬间。可以对赛事视频中的非竞技动作进行识别，感知观众的欢呼、选手的情绪、颁奖夺金等关键时刻。可以对镜头类型进行区分，进行多类型素材的智能化组合。将完成如此多重复杂的任务重担放在一个模型里，这也对 AI 云智剪的 AI 模型泛化能力带来巨大的挑战。点击这里查看视频：永不放弃！冬奥健将们跌倒后爬起的坚韧 百年奥运的瞬即美学：凌空之美，分秒凝结AI 编辑部“云智剪”60 点击这里查看视频：人均“小陀螺”花滑女将踏刃旋转 3.冬奥云上新内容背后的新算法 通过 AI 云智剪呈现新内容，冬奥的云上智能生产运用了全新的智能算法技术。从本质逻辑上，AI 云智剪是基于智能算法模型，对视频赛事进行解构、解析、评分，最终再基于多样性策略，以及 AI 模型输出的多样性评分进行智能化的视频素材生成。正是依托前沿技术，AI 模型可以在较少的计算资源需求下，实现多赛事、多来源、多种类的视频进行内容解析、集锦素材生产。协同阿里云视频云的技术输出，阿里巴巴达摩院的算法工程师采用了阿里巴巴最新研发的预训练模型技术 LOOK（该技术已经被人工智能领域顶级会议 ICLR 2022 录用）。相比于常见的训练方式要求所有的同类别样本特征接近于一个中心特征，LOOK可以在模型训练过程中仅要求接近的同类样本更加接近，保留更多的特征自由度。可以认为，这是从一个“求同去异”到“求同存异”的过程改进，正因为在训练过程保留了更多的有效信息，也使得模型特征的表示能力更加通用，最终基于这一个通用表征的基础模型，构建了多个轻量级的多分枝任务模型，去完成多项任务。百年奥运的瞬即美学：凌空之美，分秒凝结AI 编辑部“云智剪”61 因为共享了同一个基础表示模型，在计算消耗上多个任务分枝比单个任务分支增加的额外计算负担几乎可以忽略不计，但却可以和直接使用多个模型达到同样的 AI 能力。正是基于这一技术，AI 云智剪更快更高更强地支撑起冬奥会的短视频生产任务。预训练模型技术 LOOK 示意图 在使用预训练模型技术以外，由于此次冬奥会视频数据是模型“从未见过”的数据，为了保证模型的鲁棒性和计算结果的稳定性，阿里巴巴最新研发的开集识别技术NGC（录取为 ICCV 2021 Oral）也被引入其中。AI 模型会同时利用模型预测的置信度和特征的几何结构，来共同决定最终结果，这也使得 AI 云智剪虽然是第一次在冬奥会上登场，但也是相当的“稳”。开集识别算法 NGC 示意图 此外，阿里巴巴达摩院在视频理解领域积累了大量技术，包括基础模型表征，时序特征建模、自监督表示等，通过阿里云视频云 AI 云智剪的能力输出，均在这次冬奥 百年奥运的瞬即美学：凌空之美，分秒凝结AI 编辑部“云智剪”62 会中展露头脚，也被开源在 EssentialMC2 技术框架中，以此致力于推动视频内容理解领域社区的技术发展。4.多次创造顶级赛事新视听 早在 2018 年世界杯期间，阿里云视频云 AI 编辑部就聚焦于利用“视频 AI 云剪辑 媒资管理”的技术，实时生产精彩集锦和球星集锦，满足球迷们的重温赛事和追星的需求。在 2018 年世界杯上，CCTV5 采用了阿里云视频云 AI 编辑部的视频 AI 技术，实现对第一脚传球检测、回放检测、危险射门检测、犯规检测、运动轨迹分析及进攻节奏分析等，用 AI 技术替代了庞大复杂的高清现场制作设备，高效实时地产出赛事集锦，让精彩不容错过。经过四年的技术锤炼和产品打磨，AI 编辑部已陆续支持足球、篮球、冰壶、花样滑冰、短道速滑、滑雪等多种赛事的特色集锦和主题生产，帮助用户有效提高视频的生产效率，让内容更快速、更精彩，也更有优美之感。冬奥赛事接近尾声，AI 编辑部的视频 AI 技术在本次奥运会中成功落地，这是赛事应用的又一里程碑，也是视频 AI 应用于体育行业及更多其他行业的广阔开端。AI 技术也将渗透到各个行业中，帮助行业客户高效提升新内容的生产效率，让每场赛事都拥有全然不同的新视听体验，也让赛事的人文美感由此绽放 发布时间：2022 年 2 月 17 日 作者：IMMENSE 百年奥运的沉浸其境：冰雪之外，与你同在“互动虚拟演播”63 百年奥运的沉浸其境：冰雪之外，与你同在“互动虚拟演播”2022 冬奥季，即便在冰雪之外，也能透过播报感受同在。这就是互动虚拟演播技术带来的非凡魅力。“虚拟演播厅”在东京奥运会就曾进入奥运村，而在 2022 冬奥期，其技术方案全面升级，达到广电级导播效果的同时，接入门槛极大降低，大大拓展了该技术的应用场景。同时在链路上打通 RTC 和 GRTN 网络，将多机位、多视角实时同步技术能力，与 RTC 实时连麦、异地开播能力结合，可实现主播、嘉宾的多层虚拟背景等能力叠加，提升沉浸式直播体验，在互动效果上全面提升到新境界，助力打造北京冬奥赛事的沉浸式报道。1.百年奥运首次启用互动虚拟演播打造沉浸式报道 2022 北京冬奥虽于冰雪之际，但观众高燃的热情像一场冰与火之歌。对于赛场上的瞩目之星，观众都很期待听到、看到、感受到他们在赛后真实的声音、风采和谈吐之相。于是，早在冬奥会前期，CGTN（China Global Television Network）就在策划制作全球冬奥运动员、冰雪明星的系列采访报道，期望实时而精彩地呈现运动员的赛事采访，而互动虚拟演播技术的全新突破，正是 CGTN 此次落实冬奥采访项目的最佳选择。通常而言，媒体异地采访需要连线 App，且运动员的受访环境很不可控，于是，想展现好的人物采访画面效果，需要实景抠像再合成于虚拟直播间，同时还要达到赛事结束后采访的实时传播效果，这对技术提出很大的挑战。于是，阿里云视频云全新升级的“互动虚拟演播”技术在 2022 冬奥会就此登场，解决了这一难题。作为全新的云导播实时互动虚拟演播技术，这是奥运会第一次启用，为 CGTN 在北京冬奥会的记者连线报道场景中充分应用，打造了此次奥运赛事报道的沉浸式体验。百年奥运的沉浸其境：冰雪之外，与你同在“互动虚拟演播”64 该项技术在冬奥会期间全程助力 CGTN 进行了赛事异地采访、实景抠像合成的虚拟直播，打造了异地互动的新形态播报，实现全链路制播上云，对传统新闻节目制作打造了全新场景。同时，通过在音视频互动 APP 上实时连线，实现了导播人员和记者异地实时通讯，第一时间将新闻报道传递给观众。通过云导播与 RTC（音视频通信）的全面打通，可自动获取连线直播间流，实现新闻采访与直播观看同步进行。此外，通过云端实景抠像算法技术能力，达到了极致精细的抠像合成效果。这是百年奥运首次使用“互动虚拟演播厅”进行沉浸式赛事报道，改变了传统电视台记者的采访形式，再也无需记者携摄像团队，载着沉重设备到处奔波，更无需以往一定要将记者与受访者设置于同一现场的固封模式。只要通过阿里云视频云互动虚拟演播产品，采访任务仅需“两部手机 一台电脑”，即可随时随地展开采访直播与转播，从而革新了媒体生产与传播的技术链路，实现全链路制播上云的同时，也让赛事观众体验到更沉浸的播报视感。“互动虚拟演播厅”示意图 2.三项国内首个突破性超级能力业界尖端技术 能够在此次冬奥会实现创新方案落地，打造实时互动的沉浸式赛事报道，源于阿里云视频云在虚拟演播厅产品上的深度打磨和三点战略性的技术突破：百年奥运的沉浸其境：冰雪之外，与你同在“互动虚拟演播”65 国内首个纯云端实景抠像合流技术 此次的互动虚拟演播方案，是针对冬奥会打磨的新实景抠像算法与引擎能力，它第一次采用实景预设背景抠像，第一次采用多机位切换抠像，第一次采用 4 路抠像源（绿幕 实景）同时实时抠像处理。众多“第一次”带来的价值是，满足了冬奥会级别的世界顶级赛事直播要求，将实景抠像效果达到业内天花板水平。对标广电级别的节目要求，阿里云视频云正是利用算法打破技术壁垒，通过尝试多种算法和工程模型，一次次突破自我，提升实景抠像的效果和性能。在各种采访环境不可控的杂乱背景下，技术均可处理得非常完美，让冬奥的赛外内容播报体验极大提升。国内首家“端云无缝衔接”的导播平台 在此次冬奥会中，互动虚拟演播厅首次打通了 RTC 和 GRTN 网络，将多机位、多视角实时同步技术能力，与 RTC 实时连麦、异地开播能力进行结合。一般情况下，导播台是一直缺乏端侧能力的，于是无法实现实时互动场景，虽然也可以尝试和内外部各种 App 应用联合，但因为种种原因很难真正落地。此次阿里云视频云RTC技术结合了导播台，进行虚拟演播厅产品的深度改造和联动，并且对 App 端的界面效果和性能完成全面优化，为普通用户提供了简单、稳定的连线功能，真正实现了“互动虚拟”演播能力。业界广电级导播能力 全新的互动虚拟演播厅，全面满足超低延时、超稳定、超高并发的特性，达到广电级导播能力。从连麦 APP 端到导播合流输出全链路超低延时，实现连麦端实时通讯、导播台“抠像 合成渲染输出”，最快 2-3S 内即可完成所有流程。在多人、多地同时开播、长 百年奥运的沉浸其境：冰雪之外，与你同在“互动虚拟演播”66 时间连线开播情况下，对多背景抠图的处理场景可以达到稳定处理零断流的效果。整个方案落地，可经受住大规模的分发、观看的考验，对超高并发依旧稳定出色。“互动虚拟演播厅”制作全链路 在东京冬奥会，阿里云视频云的虚拟演播厅就曾进入奥运村。当时，身处日本东京和中国北京两地的企业代表，通过云导播台的虚拟演播厅、实时字幕等能力，顺畅完成沉浸式直播连线。百年奥运的沉浸其境：冰雪之外，与你同在“互动虚拟演播”67 2022 北京冬奥，为了结合 CGTN 的记者采访和报道场景，同时满足央视记者深度沉浸式报道的观感，阿里云视频云重点对互动虚拟演播方案，进行几个方面的深度升级：第一，重点对实景抠像打造了新的算法引擎和极致效果，解决了实景抠像边缘粗糙，抖动等问题，抠像效果精细到人物发丝，真实细腻的效果促进了产品的可应用性，打破行业实景抠像壁垒。第二，丰富了云导播在场景端侧的接入能力，实现“实时互动 导播”的完整方案，打造了“实时互动”场景，并且，通过 App 端简单便捷的开播，让使用门槛非常之低，从而高度满足了电视台记者群体的使用诉求。虚拟演播厅强化增补了前链路的推流互动环节，更进一步实现了沉浸、实时的直播体验。第三，全面升级导播稳定性、超长时间连麦稳定性、抠像稳定性、音视频互动 App性能等，从而全方位满足异地、多人、多场景、超长时间的连麦和直播需求，对于复杂的多场景（单人/双人、远景/近景、直播中插垫片）实现无缝切换，真正达到广电级别的节目制作水准。全面的技术升级，将“虚拟演播厅”升级为具有实时互动沉浸效果的“互动虚拟演播厅”产品方案，从而为 2022 冬奥会带来赛事报道的全新体验。3.互动虚拟演播的更多空间更多场景价值 北京冬奥会谢幕之后，互动虚拟演播还会支持残奥会的实时沉浸连线播报。奥运会这样的超级赛事打磨了技术方案，让其不仅服务于此。作为全新的云导播实时互动虚拟演播技术，互动虚拟演播厅可以通过低门槛地使用音视频互动 App，以发起直播与实时连线互动，同时，基于云端抠像与虚拟背景合成的能力，提供“端到云到端”的虚拟演播解决方案，从而打造沉浸式直播体验。百年奥运的沉浸其境：冰雪之外，与你同在“互动虚拟演播”68 它是专门为远程互动打造，实现虚拟直播间的沉浸体验。此外，也为远程制作、异地互动直播的场景提供解决方案，如身处在滑雪场的运动员可以和新闻中心的主持人进行异地的虚拟合屏，并可进行实时互动采访。从实际的应用场域，不仅支撑体育竞技、国内外赛事类的现场转播、远程解说、多主持人模式等场景，互动虚拟演播厅还可落地于更多行业场景，如电商与活动的直播支持、会议的多模式转播，以及各种类型的异地连线与虚拟访谈，场景广泛，能力丰富，均可实现。总言之，基于 2022 北京冬奥会的实践与沉淀，阿里云视频云会将互动虚拟演播解决方案进一步深化为更强的产品力输出，面向涉及直播场景的各行业提供远程开播、虚拟直播间的解决方案。从后继发展来看，在技术升级和产品优化上，“互动虚拟演播”会围绕三个方向继续演进突破：首先，在实现了低门槛接入之后，更强调实现持续降本，提升整个产品性价比和竞争力。再者，加强完善端侧布局，丰富导播互动能力（如观众端播放画面的返送等），从而提供更完善的互动虚拟演播方案。百年奥运的沉浸其境：冰雪之外，与你同在“互动虚拟演播”69 在此之外，在物理与虚拟世界穿梭构建的大趋势之下，将深度结合“虚拟演播厅”的概念，探索虚拟人、3D 背景等能力的结合与落地，打造虚拟直播间的更多可能。未来的互动虚拟演播，技术更前瞻，门槛更低简，场景更丰富，互动更多元，效果更沉浸。借冬奥之光，技术普惠就在眼前。发布时间：2022 年 2 月 20 日 作者：IMMENSE 百年奥运的相觑之温：尔疆我界，咫尺相见Cloud ME 70 百年奥运的相觑之温：尔疆我界，咫尺相见Cloud ME 2022 北京冬奥会本是一届非凡的存在，这是有史以来第一次将奥运会所需的全部核心系统全面上云，以数字化技术创造奥运的新纪元。但绿色奥运不止如此，在面临 Covid-19 限制和物理隔阂之下，千里之外，人与人的会面可以透过绿色科技之光而以全息形态实现，这便是阿里云视频云基于 AliRTC（音视频通信技术）推出的云上创新解决方案阿里云聚“Alibaba Cloud ME”，第一次在百年奥运史上跨越物理空间，创造了人与人之间的“云聚”时刻。（以下简称 Cloud ME）1.云聚现场的汩汩之温Cloud ME 创造传奇会面 “Cloud ME”本意出发，为物理空间限制下渴望探索真实会面感的人们，提供沉浸交互体验，使他们能够以真人 3D 形态见面，并享受彼此的实时对话与交互。远隔 1300 公里的巴赫与张勇先生，以全息形态现身北京新闻中心，同台云拜年。百年奥运的相觑之温：尔疆我界，咫尺相见Cloud ME 71 冬奥会刚刚开幕之时，身处北京闭环内的国际奥委会主席巴赫通过 Cloud ME“现身”2022 北京新闻中心云聚展区，与远在上海的阿里巴巴集团董事会主席兼 CEO张勇，隔空“云聚”，以全息形态同台送出奥运寄语，又在“现场”隔空传递冬奥火炬，于众多媒体记者的见证下，Cloud ME 让一切交谈和交互犹如真人临于现场，气氛真实而有流动感，惊叹元宇宙的提前到来，又深感科技涌出的汩汩之温。在奥运世纪见面之外，更有温度的，是透过 Cloud ME，让因疫情分离别北京、上海两地的医护人员家庭得以在“云上全家团聚”，孩子看到父母如临眼前的欢喜之相，和一张穿越空间的全家福，浓浓暖意，足以瞬间融化这背后所有技术的艰辛演进。而这一刻，技术也挥着人文的熠熠之光。点击这里查看视频：通过 Cloud ME，一场特别的见面 整个会面过程通过 Cloud ME，将会面者们的全身图像投射到远程全息舱中，以展示他们的 3D 形象，从而促成多人异地的远程会面交互。Cloud ME 全息舱装置简单，除典型的演播室设备（如摄像机和计算机来捕捉镜头）之外，基于强大的云计算能力，不需要任何额外的现场 IT 基础设施或优化的互联网带宽来助力录制和传输。正是 Cloud ME 易于落地的特性，让虚拟现实会面可以在更无限的场域向更广泛的受众开放，创造更多样、更有温度的云聚可能。百年奥运的相觑之温：尔疆我界，咫尺相见Cloud ME 72 一张特殊而浓浓暖意的“全家福”就此，无论多想见的人、多遥远的客户、多难相聚的团队，都能透过阿里云视频云的 Cloud ME，以云聚之力，咫尺相见。2.Cloud ME 的魔法显现发丝级全息复刻&眨眼般超低延时 基于阿里巴巴在数字化和智能技术的支撑，Cloud ME 制作的音视频将在阿里云上进行压缩、传输、处理和渲染，在这过程中，经久打磨的 RTC 技术起到最为关键的作用，而阿里云先进的计算能力和广泛的全球网络覆盖也为 RTC 提供了坚实基础。实现多人异地全息会面，Cloud ME 的操作落地简单，但技术非同寻常。百年奥运的相觑之温：尔疆我界，咫尺相见Cloud ME 73 点击这里查看视频：冬奥黑科技 Cloud ME 的技术实现 传奇过程，如下所现：首先，在影像采集环节，摄影机采集的画面是无法直接在播放端进行全息成像的，所有画面需要通过先进的编码器进行深度压缩，并在实时传输协议和 QoS（Quality of Service）抗丢包策略的保障下发送到阿里云的音视频通信（RTC）网络，画面最终上传的格式和尺寸与普通 4K 电影无异。随之，当画面到达云端之后，需要借助云上强大的处理能力完成包括转码、渲染、场景重建、光影处理在内的复杂流程，完成从“平面”到“全息”的蜕变，以真人1：1 等比虚拟化复刻，生成 3D 全息人物，以高清方式重建所有互动细节，包括人物的微面部表情和服装纹理，达到“发丝级”全息全尺寸复刻，塑造全真实交互的沉浸感，一切犹如身临其境。天下武功，唯快不破。在如此复杂和大跨度的技术链路上，为了实现顺畅的会面效果，技术实现的关键也在于“速度”，而保障“速度”的关键则是阿里云覆盖全球的音视频传输网络 GRTN（Global Realtime Transport Network），及其在视频编解码、网络传输、超大规模音视频处理和调度等方面的核心技术。百年奥运的相觑之温：尔疆我界，咫尺相见Cloud ME 74 基于这些技术，影像画面传输和处理的全过程，包括 SDK 编码、实时传输，云上处理和渲染，端侧解码和成像，仅需在眨眼间的 200 毫秒内即可完成，体感上与我们日常交流互动的综合体感相同，毫无延时顿感，极度真实。由此，Cloud ME 发丝级的全息全尺寸复刻、眨眼般的超低延时，和稳若磐石的网络传输力，让更多交互奇迹由而发生。3.AliRTC 极致技术的普惠之光“零处理”时代顺势而来 Cloud ME 的技术实现，核心依托于阿里云视频云曾提出的 AliRTC“零处理”解决方案，即通过“云处理 端渲染”技术，让硬件端只进行简单的采集，传输，播放，同时，所有的复杂工作全部集中在云上完成，让终端实现“零处理”。这是百年奥运史上，第一次利用云上全息 RTC 技术，实现跨场景远程会面的技术应用，在疫情期彻底打破了物理空间隔阂。通过 Cloud ME，可将运动员、赛事工作人员、志愿者和媒体朋友们“瞬移”到指定地点，实时交互沟通。湖南卫视新闻大求真栏目主持人在体验 Cloud ME 的过程中，就将北京冬奥会现场的志愿者“瞬移”到“节目现场”，进行“面对面”的超级采访，实现了时空同步。来自清华大学的志愿者许雯钧说道：“这感觉就像我们面对面交流一样！”。百年奥运的相觑之温：尔疆我界，咫尺相见Cloud ME 75 点击这里查看视频：湖南卫视新闻大求真栏目 对 Cloud ME 进行现场体验与节目采访 阿里云视频云的“Cloud ME”既可以应用在奥运会场景下，也可以在奥运会之外，向更多参与者和球迷广泛开放，让他们在虚拟现实中体验真实、沉浸、趣味的全息交互，真正开启百年奥运的新内容与新交互。不仅如此，基于阿里云 RTC 的全球部署，还可实现“一地上线，多地同步互动呈现”的场景景象，拥有“分身不再乏术”的现象级能量。事实证明，RTC 音视频通信是一项有助于世界有效连接的关键技术。借助阿里云的全球网络和视频云的智能算法，阿里云视频云旨在将音视频通信能力带入更广泛的应用场景中，不仅在互动娱乐、智慧教育、视频会议，还有更多更具价值的企业服务和更具想象力的沉浸交互场域。从图文到音视频，社会的第一次交互变革发生于 2014 年，而 RTC 技术在 2017 年驱动了互动视频技术和在线互动商业的颠覆性发展。随着 5G 技术的发展还会带来新一轮的交互演进，如 VR 远程协作、虚拟现实互动等。百年奥运的相觑之温：尔疆我界，咫尺相见Cloud ME 76 在云厂商中，阿里云视频云曾率先提出“云处理 端渲染”技术，通过实时通信与云上处理的技术结合，前瞻性地解决了新交互体验因端侧算力受限而无法实现的虚拟交互场景难题,推动终端“零处理”时代顺势而来，而 Cloud ME 即是阿里云视频云在这一领域的创新实践。未来，AliRTC 会充分利用云端一体的混合计算能力，助力更多创新场景的商业化落地，例如全息演唱会、虚拟演唱会、创新云展会，全息交互娱乐等等，让场景向更低延时、更沉浸交互的极致化体验演进。百年奥运的相觑之温：尔疆我界，咫尺相见Cloud ME 77 RTC 是技术，科技是工具，而其所有的终点，是人文涵蕴的温暖，那是打破尔疆我界的无形之力，是人与人、人与物、人与世界彼此存在的咫尺之间。期待 Cloud ME，期待 AliRTC，期待未来。发布时间：2022 年 2 月 18 日 作者：IMMENSE 百年奥运的相觑之温：尔疆我界，咫尺相见Cloud ME 78 第四章 2020 东京奥运会：数智与虚拟之境（此页面将由下图全覆盖，此为编辑稿中的示意，将在终稿 PDF 版中做更新）50 亿观众的“云上奥运”，顶级媒体背后的数智化力量 79 50 亿观众的“云上奥运”，顶级媒体背后的数智化力量 2020 东京奥运会之际，由于疫情限制，东京地区赛事以无观众的空场形式举行，在无法亲临现场的情况下，全球观众首次以“云上”方式观看奥运。“云上奥运”该如何保证赛事的生动性和现场感，缩短观众与赛场之间的距离，随时随地捕捉精彩赛事瞬间？作为 2020 东京奥运会最高等级的全球合作伙伴，阿里云支撑奥运会实现首次全球云上转播，供各大转播商使用，同时，支持国内顶级媒体实现云上“采编发”整体流程的验证，为媒体跨地域协同报道提供了宝贵的实战经验。新华社作为中国国家通讯社和世界性通讯社，是全球仅有的具有资格在主新闻中心展示奥运精彩瞬间的 6 家世界级媒体之一。东京奥运会也是新华社第一次作为国际通讯社报道奥运，新华社派出 133 人的奥运会报道团队对奥运现场进行全方位的报道，通过云技术，前方记者和后方团队可以进行密切配合，使得报道内容能够更高效完成。针对阿里云对新华社“云上制播”的技术助力，具体到跨地域“采编发”协同制播流程的实现、探索、验证，分为以下几步：50 亿观众的“云上奥运”，顶级媒体背后的数智化力量 80 1.异地协同，网络先行 媒体素材内容能否高效地传输回来，网络保障是关键所在。早在 2021 年年初，新华社考虑到信号和视频内容传输的各类需求，申请了 100Mbps 的宽带链路。而当 7月份记者抵达东京进行现场带宽测速时，结果十分不理想。百兆网络访问国内的服务，带宽只到了 KB/s 级别，如同回归了拨号上网时代。现场带宽测速 如何解决跨区域网络传输的问题？前方记者拿出了事先准备好的“神器”：阿里云一站式快速上云 SDWAN 接入产品（Smart Access Gateway，简称 SAG）。由于已在国内进行过配置和测试，因此，在报道现场，记者直接将预留的以太网插到 SAG 产品 WAN 端口，再把需要连接的设备接入到 SAG 的 LAN 端口，便可自动获取 IP 地址，东京报道现场的设备就和国内云端提前配置好的计算、存储等资源构成了一个加密安全的内网环境。当然，还可以通过 PC 和手机等终端安装的 APP 形态，满足各类移动终端的 point-to-site 快速接入。50 亿观众的“云上奥运”，顶级媒体背后的数智化力量 81 2021 年年初，新华社联合阿里云、优酷进行多场测试验证，通过 SAG 网关可以最大化的优化网络传输质量，降低系统访问时延，满足远程制作、云上生产等各类应用场景。50 亿观众的“云上奥运”，顶级媒体背后的数智化力量 82 5 路 NDI 流接收情况下相关测试截图 Full NDI 情况推流上云延时效果 智能接入网关 SAG 是阿里云混合云 SD-WAN 解决方案的 CPE 终端设备，可同时基于互联网宽带/4G/5G/专线等多种类型链路，帮助企业安全高速接入阿里云。充分发挥阿里云网络资源优势，就近加密接入 POP 点，优化网络质量，一站式完成跨地域、弹性、高效的分支机构及线下 IDC 互联及业务上云。50 亿观众的“云上奥运”，顶级媒体背后的数智化力量 83 伴随 5G 技术发展，诸多企业已探索基于 5G 访问互联网或云上资源，在上半年国内测试中，SAG 的 5G 带宽值最高可以达到 80Mbps（上行）、200Mbps（下行）。在流媒体视频传输协议中，常用的流媒体协议主要有 RTSP 协议、RTMP 协议、UDP协议、HLS 协议、SRT 协议、NDI 协议等。对于 UDP、NDI 等仅支持私网的传输协议，SAG 也把跨洋传输的不可能变成了可能，可以实现低延时的跨境传输，应用于远程制作、远程介绍等各类场景。除了网络手段，还可以通过其他方式来进行速度的优化。实际测试中，虽然东京现场内容回传很慢，但东京现场访问东京资源的速度良好。因此，在云上东京区域开放存储空间，便可满足内容快速上传的需求，再将东京区域存储内容通过跨区域复制方式复制到国内存储区，实现在东京和国内不同 OSS 地域之间自动、异步复制文件，将源存储空间中文件的改动（新建、覆盖、删除操作）同步到目标存储空间中。既满足了数据复制的需求，也可以作为异地容灾的应对方法。当然，由于存在一些临时存储内容，并不是所有文件都需要进行同步，对此，可以根据指定文件名前缀进行有选择的同步，以满足各类报道需求。50 亿观众的“云上奥运”，顶级媒体背后的数智化力量 84 2.云上制播，如影随形 传统节目生产，需要按需配置支持 4K 或是高清的、带显卡的工作站进行编辑制作，并通过网络化存储访问达到协同效。但跨境报道，大规模网络化系统部署携带不便，且仅能满足当地访问的需求，因此，在这次移动报道中，通过云桌面方式实现了多地域更灵活的访问体验。50 亿观众的“云上奥运”，顶级媒体背后的数智化力量 85 业务系统部署在云端，对位于各类互联网环境的客户而言，安全、高质量的访问，实现和线下业务系统类似的效果是关键。云桌面是一种易用、安全、高效的云上桌面服务，可以快速构建、高效管理桌面办公环境，提供安全、灵活的访问体系，使用云桌面的用户，可通过客户端方式连接云桌面，运维管理人员也可以远程进行统一的云桌面管理，包括管理工作区、桌面、策略、镜像、网络、存储等的管理。因为云端可提供丰富的计算资源选择，在无影云桌面中，可以选择 CPU、GPU 多种规格，即用即买，按需计费，灵活弹性，管理员可以实现定义好应用和资源镜像，如高清非编、4K 非编等，快速复制启动新的机器。云桌面可以根据需求设定多种安全策略，既能开放上传下载功能提升便捷程度，又可以根据安全需求关闭上传下载，U 盘，剪切板，网络等通路，防止数据和 IP 外泄。50 亿观众的“云上奥运”，顶级媒体背后的数智化力量 86 对于终端的话，可以按需灵活选择软件或是软硬一体形式，硬件终端提供统一轻空间，搭载个人云盘做到数据随身携带，根据权限使用云端资源。无影云桌面软件终端形态 云桌面可以以低带宽、高分辨率、高显示质量显示云端站点编辑效果，支持国内国外多种非编软件，最高支持 9 层 500Mbps XAVC 视频编辑。根据实测结果，通过家庭宽带、办公网络、酒店 wifi 等各类 Wifi 连接方式均能实现较低的访问时延（RTT（Round-Trip Time，总体延时）小于 50ms），占用带宽在10Mbps 以下（高清/4K 分辨率进行编辑操作访问情况下），可以流畅的进行编辑、审核、调色等各类操作，同时，还可以通过外部设备重定向功能，接入调色台等外设设备，满足更好的用户操作体验。整体云端制播网络架构如下：50 亿观众的“云上奥运”，顶级媒体背后的数智化力量 87 为了保证北京、东京两地的同时访问，阿里云在北京和东京之间的上海区域开通了云桌面服务，两地网络测试情况下，对应 RTT 数值均在百毫秒以下，可以很好的满足业务需求。为了满足不同人员对不同非编软件的使用需求，云上部署统一的CS资源管理系统，以具备与 Adobe Premiere、Final cut Pro、Edius、大洋、索贝、剪映等非编软件的协同制作能力，用户可以通过拖拽的方式，直接将素材或打点片段拖入非编中进行编辑。用户的整个剪辑操作流程就是在素材管理系统和剪辑软件中进行流转的，避免了用户在多软件中频繁切换的操作。在素材管理系统中，素材的存放管理被定义划分为个人库和部门库两种方式，其中个人库所属于登录的个人账户，仅用户本人有权看到并管理其内容；部门库所属整个部门，所有部门内的工作人员均可共享其中素材，用户可以在个人库中将素材共享至部门库来实现部门库资源扩充。同时，还可以通过左侧收录素材目录下看到收录得到的素材，收录素材展示视频元数据信息并且可以进行预览。视频预览框中可以实现视频打点并拖拽至非编软件进行编辑功能，正在收录的内容可以和非编配合实现边采边编操作。50 亿观众的“云上奥运”，顶级媒体背后的数智化力量 88 资源管理器对应不同非编软件拖拽上板 资源库还可以提供结合 AI 智能能力的 BS 管理端，实现智能封面提取、语音识别、人物识别、智能拆条、智能编目，做后台内容的快速管理，减轻素材管理人员的压力，也使得内容的搜索更加的灵活便捷。不仅内容生产可以通过云端进行，信号的云端导播切换更可以在维持传统操作方式（切换面板、监看习惯等）情况下通过云端实现调度、AI 处理及导播切换，如下图所示：50 亿观众的“云上奥运”，顶级媒体背后的数智化力量 89 3.智能加持，一站式服务 在云上，通过编辑软件提供商和公共云基础能力的结合，可以实现更多的业务场景，将异构业务生产环节流程化、智能化串接起来。而通过和 BS 编辑应用的结合，可以一站式满足业务的增值应用，实现更好的业务提效。此次，针对奥运报道的需求，结合阿里云视频云的 AI 能力，进行了进一步的贴身定做：赛前创建奥运体育健儿人物库，在前方报道入库后第一时间进行视频分析、内容展现，可以更好更快的为业务系统提供服务。素材人物识别 同时，在“策采编发追评”的整套传媒业务流程中，可以通过 AI 能力的加持，实现移动端 PC 端编辑的协同生产，完成大小屏内容的统一准备和分发，既能实现业务闭环，也能快速切入发布环节，以统一的 BS 界面，实现各业务流程以及智能化工具的一站式服务。50 亿观众的“云上奥运”，顶级媒体背后的数智化力量 90 为了本次奥运比赛，赛前提前制作了各类体育报道的模板，可以快速和拍摄视频结合，实现内容的快速生产分发。体育类新媒体海报 阿里云视频云针对媒体行业打造的 AI 编辑部，致力于将阿里云的各项 AI 能力在媒体行业的不同场景中进行落地，提升内容生产与制作的生产效率，降低人工成本。在云上制播的时代，AI 编辑部已经面向市场基于分布式媒体处理引擎的超高清内容倍速处理能力，此外还有多模搜索、人物翻库、视频指纹、数字水印各类全新能力，为云上内容生产的时代中的各类生产场景提供能力支撑，为行业的不断发展提供更多的产品与解决方案。4.云上制播的未来 全球的云上奥运，带来了全新“云上制播”概念，其本质就是媒体“策、采、编、发、追、评”完整业务流程的全面云化，核心在于云化环境对业务的支持和通过无影云桌面实现和推云入端。通过云上制播，阿里云实现了媒体核心业务的全面上云，完成了传统专业设备的云化替代，解决了从业人员内容采集、生产、审核、发布的空间限制和设备依赖。针对媒体行业，在实际生产过程中，因为大多数历史资料内容存储在线下系统，需要频繁涉及到原有素材的导入上传，利用互联网络耗时较大，影响实际体验。目前 50 亿观众的“云上奥运”，顶级媒体背后的数智化力量 91 采、编、发、存等业务，分布在云上云下，将会是一个比较长的过渡阶段，因此对原有内容的导入和融合、专线链路的建设，是非常迫切且重要的问题。随着云技术和网络基础设施的发展，云上生产将会得到更广泛的应用发展，在阿里云和优酷的联合测试中，还实现了以下场景的验证：低延时远程监看 云端内容增强制播 通过将阿里云视频增强系统在优酷制作网部署，对高标清素材进行 4K 增强与色彩优化，可用作直播信号处理，更可应用于视频文件处理，实现低成本 4K 内容生产，缓解行业内原生 4K 内容制作成本高，原创内容少的问题，填补了高清制作与原生4K 制作之间的空白市场空间。还可以用来对来源质量不高的内容实时优化处理。智能化云化转播方案 5G 4K AI 云的云化转播车方案，该方案旨在通过云制作技术赋予现有电视转播车云上生产的能力，提升内容制作效率，降低制作成本，孵化新内容形态。50 亿观众的“云上奥运”，顶级媒体背后的数智化力量 92 通过智能接入网关打通本地设备和云上资源，实现本地多路摄像机信号上云、云上导播、字幕包装、编码推流、多路分发、云端收录、AI 分析、智能剪辑的全链路云上解决方案，并在现有优酷自制节目中落地完善细节。适合网络媒体、OGC、广电融媒等新媒体高清 HD 直播场景，相较于传统的 EFP 制作流程，具有便捷、稳定、低成本的特点，更可以通过智能化的手段完成智能抠像、动漫化、多主体分割等亮点应用。通过这次云上奥运报道的实践与验证，可以感受到云上生产可以极大满足现有生产业务诉求。同时，在运维、弹性、跨地域协同、智能化协助等方面具备更大的优势、深度重构了“采编发”业务流程，并创生出新的应用模式。视频内容云上生产，能够在全媒体传播，传统媒体机构进军互联网主战场的征程中发挥更大的价值。在云上制播时代，让我们共同期待更优质的体验和全新的云上图景。发布时间：2021 年 8 月 5 日 作者：IMMENSE 导播上云，把“虚拟演播厅”搬到奥运村 93 导播上云，把“虚拟演播厅”搬到奥运村 第 32 届奥运会在东京落下帷幕。正如国际奥委会主席托马斯巴赫所言：“这是数字化水平最高的一届奥运会”，东京奥运会不仅是首次实现云上转播的奥运会，在其他技术上也有众多创新。1.虚拟演播厅，打造沉浸式直播体验 云导播正是依托了阿里云强大的视频直播和媒体处理服务，进行导播效果创新，对传统视频生产工具进行云端再造，一体化制作打造沉浸式直播体验。虚拟演播厅作为云导播的重点能力，运用了深度算法的实时自动抠像技术，支持多种设备、多机位，即便双方身处异地，也能让他们看起来处在同一空间，呈现沉浸式的直播体验。虚拟演播厅基于先进的实时抠像渲染技术，能够对实时直播流进行抠像处理，并结合具体的背景图和多媒体展位，合成统一直播流输出。它支持多种设备、多机位、异地开播，并能够实现双屏幕、分屏、画中画等开播场景，此外，直播背景可根据具体场景进行变换，最大程度贴近直播需求，帮助客户打造场景化沉浸式直播体验。导播上云，把“虚拟演播厅”搬到奥运村 94 点击这里查看视频：东京奥运会虚拟演播厅 此次云签约还运用到了实时字幕能力，该能力结合语音识别技术，支持中文、英文、西语、俄语四国语言，实时滚动展示双语字幕，满足多国家、地区用户同时观看直播的需求，让直播更简单、专业、国际化。2.融合多重能力，实现云上制作一体化 除虚拟演播厅和实时字幕能力外，云导播还支持多机位直播，可针对活动现场多个机位进行多路流的融合、切换播放。不同机位流通过视频帧级别同步播放，可使用户拥有多个观看视角，不错过任何精彩。云导播还可快速搭建轮播台，聚合多个直播、视频节目，创建轮播台类型直播间，丰富直播场景和内容形态，灵活调用，轻松配置，高效协同业务场景落地。同时，云导播的在线生产与实时包装能力，还支持对直播素材、点播素材、图片、文字、动态 H5 组件素材、AI 能力进行融合，如：支持直播画面和主播、解说画面入镜直播，边解说边赛事直播；支持 H5 页面动态组件与直播业务数据打通，搭建比分系统、装备系统、赛事周边数据系统等。该能力重构视频内容生产链路，以多维度数据信息，增强用内容丰富度、拓展流量曝光和广告变现价值。导播上云，把“虚拟演播厅”搬到奥运村 95 此外，视频 AI 能力对导播上云的赋能也是必不可少的，并在众多活动上得到良好的实践和验证。阿里云视频云的云导播与视频智能生产打通融合，可对直播实时拆条、剪辑、导播合流并根据直播内容自动生成人物合集，也可通过 AI 能力，识别演讲嘉宾，动态展示人物信息。如：云栖运动会的云冲浪体验项目中，通过导播流的实时切片将直播流快速收录成小文件切片，结合视频 AI 对冲浪画面中的精彩镜头生成精彩合集，再与直播流混流播出。导播上云，把“虚拟演播厅”搬到奥运村 96 3.低成本接入，广泛运用于新场景 通过对传统视频生产工具进行云端再造，云导播极大地节省了硬件采购成本。在过去，传统的导播场景通常需要昂贵的导播车来实现，而现在，依靠云导播，导播运营人员仅需一台电脑，即可远程同时完成数场专业直播。云导播提供控制台、API、Web SDK 三类服务，用户可按需接入，便于二次开发或直接使用。同时支持直播、点播视频源，及图片、文档、页面等多种内容源，最大6 路视频源实时混编。对于云端服务能力，节省软硬件采购成本，按需使用、按量付费，助力企业打造一体化云上导播。凭借丰富的节目制作形式、更低的成本，云导播能够广泛应用到广电新媒体、赛事直播、活动直播、商业直播等场景中，帮助客户打破业务瓶颈，更快更好的开展业务。在疫情的大环境下，云导播更凸显其优势，跨越空间的障碍，轻松实现异地节目的转播，并助力各类赛事由线下转为线上，多体验、多形态丰富开展。阿里云视频云基于世界杯、双十一狂欢夜、CCTV 春晚、英雄联盟 S10 等各类顶级赛事和重大活动的直播业务验证，沉淀了深厚的活动赛事直播重保经验，以灵活易用的专业云制播能力、低成本高效率的价值，和稳定可靠的深度保障，不断创新行业应用场景，为客户创造新的价值空间。发布时间：2021 年 8 月 13 日 作者：IMMENSE 快捷、实时、稳定，随时随地打造虚拟沉浸直播 97 快捷、实时、稳定，随时随地打造虚拟沉浸直播间 2022 是“体育超级大年”，冬奥会、亚运会、大运会、世界杯等各类大型体育赛事贯穿全年。由于受到疫情管控和物理空间的限制，赛事直播至关重要，观众体验需求也在不断升级。于此，企业对直播服务要求越来越高，视频直播技术创新显得格外关键。随之而来，如何利用直播技术降低线下部署导播台的成本、如何提供灵活及场景化的能力、如何确保线上内容传输安全稳定，成为许多直播类企业客户的关注点。为了带来更好的直播体验，阿里云对视频直播产品进行重磅升级，打造一站式沉浸体验的云上虚拟直播间服务。基于边缘推流、窄带高清转码、云上导播、全域边缘节点分发等技术能力，通过全链路灾备与应急预案等保障手段，提供高可靠、高品质、低延时的直播服务，为大型赛事与活动提供保驾护航的能力。并在此基础上，聚焦打造云端一体化的虚拟演播厅能力，为观众端塑造沉浸式直播体验。1.1 台电脑 2 部手机：开启虚拟直播间 阿里云视频云的云端互动虚拟演播厅，提供了行业首创全链路云端实景抠像与虚拟背景合成能力，实现实时互动 导播的完整方案，通过手机 APP，即可简单开播，让使用门槛大幅降低，为远程采访、异地互动、虚拟实时制作等场景，打造富有沉浸感的、达到广电级的演播体验。快捷、实时、稳定，随时随地打造虚拟沉浸直播间 98 全新算法引擎，随时随地异地互动开播 目前，演播厅常用的抠图技术大多与绿幕抠图相关。但绿幕抠图存在几个弊端：首先要专门搭建绿幕演播厅或者是绿幕设备，应用场景受限；同时，为了保证绿幕抠图的最佳效果，还需要加装灯光设备进行调试，甚至需要有拍摄经验的操作者进行提前的布景。阿里云视频云利用 AI 技术创新对虚拟演播厅的技术方案进行了全面的升级，首次采用了实景预设背景抠像、多机位切换 实时抠像、最高 6 路抠像源 抠像合成处理等技术方案。从而，通过云端的多路实时实景抠像、虚拟背景生成与实时动态渲染技术，有效解决了主播与嘉宾不在同一空间，以及现场环境受限无法进行专业演播的痛点，将身处在不同地方的人合成到任意演播厅，即便身处千里之外，也能透过虚拟演播技术，体验沉浸于同一空间的互动感。快捷、实时、稳定，随时随地打造虚拟沉浸直播 99 广电级水准的精细、稳定、专业 为了对标广电级别的节目规格，阿里云视频云技术团队尝试了多种算法以及工程模型，解决了实景扣像边缘粗糙、抖动等问题，抠像效果精细到人物真实细腻的效果，大大提升实景抠像的效果，也促进了产品的可应用性，打破了行业实景抠像的壁垒。同时，也提升了超长时间直播的稳定性能，包括超长时间连麦的稳定性、抠像的稳定性、音视频互动、APP 性能、全方位的满足异地多人多场景以及超长时间的连麦和直播需求。在各种采访环境不可控的杂乱背景下，阿里云虚拟演播厅技术均可以处理实现最佳的成像效果，抠像效果精细到发丝。不仅如此，对于复杂的多场景，比如单人切换、双人远景切换、近景直播中插入电片广告等，实现了无线无缝的切换，真正的达到了广电级级别的节目制作水准及行业领先的水平。快捷、实时、稳定，随时随地打造虚拟沉浸直播间 100 打通 RTC 与 GRTN，真正实现实时互动演播 除此之外，阿里云还打通了音视频通信 RTC 以及全球音视频实时传输网络 GRTN，将多机位、多视角同步直播的技术能力与RTC实时连麦、异地开播等能力进行结合，为用户提供了简单稳定的连线功能，真正地实现了互动虚拟演播的能力。目前，阿里云导播台支持最多 12 路的输入源，同时六路的抠像合成，支持自定义的背景图，支持对于抠像对象的位置和大小直接进行拖拽设置，支持只保留音频的监听模式，支持布局图层顺序调整，只需要通过简单的两三步配置即可完成快速开播。首家“端云无缝衔接”的导播平台 虚拟演播厅也提供了多种产品使用方案。在阿里云登录直播控制台，即可以开箱即用可视化的配置和开播，可以实时的制作播出监看，调整直播内容。本地与线上一键同步，无需开发介入，适合各种运营和业务团队的使用。此外，还可以基于完善的 API 服务，按需调用封装自己的直播业务系统。云导播还提供了带有控制台前端页面的完整 WebSDK，可以直接嵌套集成，节省开发成本，帮助提供整套直播解决方案。快捷、实时、稳定，随时随地打造虚拟沉浸直播 101 通过互动虚拟演播厅采访任务，仅需要两部手机加一台电脑，即可以随时随地的展开直播与转播，同时也让观众们可以在第一时间体验到了更具有沉浸感的播报视感。2.专业直播重保：让直播服务更稳 随着直播用户增长，各平台都开始精细化运营，而保证百万量级以上并发直播活动的高可靠、高品质是各直播平台急需解决的问题。阿里云拥有遍布全球的 IT 基础设施，支持海外业务无缝布局，通过阿里云搭建的全球实时音视频通信网（GRTN），全世界各地的直播流可实现就近接入，通过高速通道快速传输至指定直播中心进行内容分发。阿里云直播重保方案包含全链路稳定方案、全链路防盗链方案、千万级并发调度方案、全链路监控方案、全量链路监控方案。对于一个重要的直播活动，为了保证推流或源站的高可用稳定，推荐使用两个推流端，分两路推到直播中心并做一次合成，合成之后再进行处理转码及分发，避免推流端的单点风险以及推流网络单点风险。快捷、实时、稳定，随时随地打造虚拟沉浸直播间 102 视频直播支持访问控制，如 Refer UA 黑白名单、IP 黑白名单等，虽可做到基础防护，但是伪造也比较容易，而该加密方法拥有独立加密密钥，避免单一密钥泄密引起大范围的安全问题，支持加密转码 解密播放，动态密钥管理更安全地保护视频资源，可有效防止视频泄露和盗链问题，实现大型赛事直播版权视频内容搬运侵权的取证、溯源和追责。对于千万级并发的直播带宽抖动是非常大的。以往年世界杯直播为例，上下半场之间有中场休息时间，画面比较简单，通过阿里云的窄带高清技术在进行传输时带宽 快捷、实时、稳定，随时随地打造虚拟沉浸直播 103 只有峰值的三分之一或四分之一，当下半场开始时，大量用户快速涌入直播间，带宽瞬间回到峰值。短短一分钟内，带宽增长几个 T 或十几个 T。这样场景下的调度风险是非常大的。如何来规避这个风险呢？调度方式有三种：DNS调度、302 调度，HTTPDNS 调度。综合起来最好的是 HTTPDNS 调度，它反应速度非常快，而且也不存在那个首屏的影响，需要客户端这些做一些接入。同时，阿里云还会提前智能预测需要带宽趋势，提前分配好资源，做好大型活动赛事优先级保障，能够非常有效的防止 T 级带宽突发带来的风险。在直播护航过程中，专人在后台提供全程服务保障以及全链路服务监控，从推流开始到最终播放的整个链路的情况，包括帧率、码率以及全网带宽压力情况。针对特别重大活动，阿里云还会定制类似右侧的大屏，对于每一路直播流，都会用红绿灯的方式显示通断情况，便于迅速发现哪一路流出现了问题，也可以具体观看帧率、码率以及在线的用户数。快捷、实时、稳定，随时随地打造虚拟沉浸直播间 104 为了看到视频直播数据信息，阿里云提供了广目系统，该把客户直播的几路直播，无论是原始流，还是转码流，合并成一路监控流进行监控。整个监控可以分成四屏、八屏或十二屏来实现一个盯屏画面。如果帧率抖动，码率异常，以及音视频的同步异常，或卡顿这种情况出现的时候，会进行实时报警。阿里云直播重保方案，提供全链路的安全稳定保障，提供高质量的直播服务，让直播更流畅、赛事更精彩、活动更安全。3.直播服务再升级：大型赛事实力验证 阿里云视频直播服务，依托遍布全球的商用带宽能力，低延迟、高并发，保证赛事画面从源头稳定分发到终端；基于自研的窄带高清转码技术，降低传输码率，节省带宽，实现直播更高清、更流畅；同时，端到端、场景化的优势，可满足不同场景下的需求，极大降低企业开发门槛，助力业务快速上线。近期的产品升级发布会，展示了阿里云视频直播所重磅升级的两大能力：虚拟直播间服务与直播重保服务，不仅提供了行业首创全链路云端实景抠像与虚拟背景合成能力，也通过全链路灾备与应急预案等保障手段，为重要活动、体育赛事、演唱会等大型在线直播场景提供高可靠、高品质、低延时的直播服务。快捷、实时、稳定，随时随地打造虚拟沉浸直播 105 阿里云的互动虚拟演播厅方案已被广泛应用到国内各类赛事活动直播中，在东京奥运会奥运村现场，身处东京的阿里云国际体育事业部代表便曾通过阿里云视频云的虚拟演播厅、实时字幕等能力，与身处马来西亚、美国、中国等多地的合作伙伴完成了直播连线及云签约仪式。而在 2022 年的北京冬奥会上，“虚拟演播厅”在 CGTN 在北京冬奥会的记者连线报道中充分应用，全程助力媒体实现全链路的制播上云，为传统新闻节目制作创造了全新场景，打造了奥运赛事报道的沉浸式体验。能力升级后的一站式虚拟直播，技术更具前瞻性，效果更为精细化，互动更享沉浸感，场景更具丰富性。阿里云基于各类顶级赛事和重大活动的直播业务验证，沉淀了深厚的活动赛事直播重保经验，以灵活易用的虚拟直播间和稳定可靠的深度保障，不断创新行业应用场景，为客户创造新的价值空间。发布时间：2022 年 4 月 24 日 作者：IMMENSE 快捷、实时、稳定，随时随地打造虚拟沉浸直播间 106 第五章 英雄联盟 S10：全球首个实时字幕技术（此页面将由下图全覆盖，此为编辑稿中的示意，将在终稿 PDF 版中做更新）全球首个游戏直播实时字幕技术 热力支持英雄联盟 S10 赛事 107 全球首个游戏直播实时字幕技术 热力支持英雄联盟S10 赛事 英雄联盟S10 全球总决赛作为电竞顶流，在赛事期间聚集了无数观众在游戏直播平台。线上持续观战之时，很多观者有一项特殊发现，即游戏直播中竟出现了实时语音字幕，这让电竞主流之外的吃瓜之众也能迅速融入到大赛氛围中，感受 S10的鼎沸热潮。2020 英雄联盟 S10 全球总决赛 准确而言，这是由阿里云视频云技术团队与达摩院语音识别和 NLP 团队共同研发完成，以实时语音字幕的形式展现在S10赛事中，并应用于国内某知名游戏直播平台。更确切的说，针对这项游戏直播场景的实时字幕技术，阿里云视频云是第一个成功推出的先行者，据了解，即使在世界范围内，也是实时字幕技术于游戏场景成功尝试的首例。故，这也是首次应用在英雄联盟 S10 顶级赛事，开创了游戏直播体验的先河。在 S10 直播中，该实时字幕技术的场景重要性在于两点：全球首个游戏直播实时字幕技术 热力支持英雄联盟 S10 赛事 108 第一，对一直存在的直播体验问题进行彻底改善，延伸了场景的可能性，例如针对不能直接听赛事的、或吵闹环境导致听不清楚的、或解说人的语言不标准造成理解困难、以及听力有点困难的这几类人群，他们可以通过实时字幕来辅助理解，解决歧义，从而拓展了在线观看的人群。第二，实时字幕可以让视频分发更专业，提升直播平台对场景生产能力的专业性，特别是针对一些电竞的专有术语，可以让入门级的用户能理解其字，由字生义，由义明字，从而提升游戏直播的体验感，引导更多的泛电竞受众。带有实时语音字幕的某平台 S10 直播 在游戏直播领域，该技术的输出核心在于，针对特定游戏场景进行特定的语音识别，并实时展示在直播流中，让分发端的观众可以借助字、音、画多维度信息理解视频内容。对于未来的游戏直播行业，它开创了游戏赛事直播的新玩法尝试，让直播实时语音识别的技术帮助大型赛事游戏更好的分发，对整个行业具有更多维的延展性价值。在该项目的技术方案实践中，最核心的研发环节与攻克难点在于两方面：语音识别的准确率。全球首个游戏直播实时字幕技术 热力支持英雄联盟 S10 赛事 109 字、音、画三者实时且同步，然后合成展示。在这两方面，视频云与达摩院整体协同并分别攻克。达摩院主要解决语音识别的准确率，通过特定游戏场景来训练模型，提高准确率；阿里云视频云提供全链路解决方案，进行客户直播流的接入、直播流的语音分离、调用达摩院的语音识别获取字幕、然后字音画同步、合成展示，最后分发。对于实时字幕技术，起初，视频云实现的是实时插入字幕的功能，后来才逐步实现语音实时字幕，其与实时插入字幕有一个本质区别，即，实时语音字幕是一个字幕流，同时有一定的时效性，需要实时、字音画同步，且展示的时长机制不一样。早在游戏直播场景的研发之前，阿里云视频云就曾成功研发全球速卖通（AliExpress）海外电商直播实时字幕项目，AliExpress 作为“国际版淘宝”的跨境电商平台，其使用的是导播台做实时语音字幕和实时翻译，进行多国多语种字幕展示，也是视频云与达摩院共同打造的世界上第一个多语言电商直播实时翻译系统。在该 AliExpress 项目上，视频云团队已经积累了对导播台实时语音字幕的各种功能与稳定性的把控力。“所以这次 S10 赛事支持，我们仅需要后端更新游戏场景的语音识别模型即可，不需要额外投入开发。仅和平台用户对接，让用户的流接入我们导播台，开通实时语音字幕即可，然后输出给用户。”阿里云视频云该项目的技术负责人表示。全球首个游戏直播实时字幕技术 热力支持英雄联盟 S10 赛事 110 精确地说，当前，S10 赛事的实时字幕技术，运用了阿里云视频云导播台成熟的实时语音字幕方案来提供该功能，S10 支持结束后，后续更多的游戏直播场景均可以更广泛地复用这套语音字幕的直播方案，包括优酷、B 站、抖音、快手这样的视频平台。未来在大型电竞赛事直播上，实时字幕技术、实时语音技术领域，还有新的技术空间思考：需要进一步提升语音识别的准确率；在应用情景上还可做实时翻译，确保多国分发；实现更低的延时，目前是 RTMP 延迟 3-5s，实际上可以做到更优质的 RTS 延迟1-2s，从而极大提升在线体验。相较游戏直播、电商直播、或其他直播场景的实时语音字幕，在技术逻辑的本质上是一致的，均是字幕的同步、合成和展示，但是，不同场景，语音识别的模型完全不同，比如电商有电商的专业术语，游戏有游戏的专业术语，同时还有一些领域俚语，所以，需要进行特定的语音识别模型训练以完成。未来，对实时字幕（支持实时语音字幕的直播）技术的研发，进一步的技术升级规划方向是：一方面，让用户的接入更灵活，字幕模型配置以及字幕的样式展示更方便。另一方面，支持更多的特定场景，提高特定场景的语音识别率，以此复用到更多具化场景的玩法尝试中。也许，通过实时字幕技术，更多的圈外人能轻松 get 英雄联盟赛事解说人准确无误的描述，从而一起融入热血的电竞文化。而对更多场景、更多维度的技术探索，才能够真正推动新内容与新交互的未来。发布时间：2020 年 10 月 23 日 作者：IMMENSE 第六章 CUBA：“自由视角”的畅快赛事（此页面将由下图全覆盖，此为编辑稿中的示意，将在终稿 PDF 版中做更新）5G 边缘计算 自由视角，让体育赛事更畅快 112 5G 边缘计算 自由视角，让体育赛事更畅快 世界本是多维的。进入 5G 时代，观众对多维度视觉体验的需求日益增长，5G MEC 网络与边缘计算的结合，具备大带宽、低延迟特性，使视频多维视觉呈现成为现实。在第二十三届 CUBA 中国大学生篮球联赛期间，中国电信（江苏公司、云公司）、阿里云与优酷强强联合，通过 5G 边缘计算 “自由视角”这项黑科技，充分发挥多角度、多细节、自由观看的特点，帮助观众更立体地追踪球赛的精彩瞬间。视频类业务发展至今，已不仅仅是单纯的视频内容的播放呈现，观众更多的将其当作一个全新的交流媒介。为了让直播体验发挥到极致，优酷与中国电信（江苏公司、云公司）、阿里云三方联合，将 5G MEC 网络与边缘计算技术相结合，使得自由视角直播在低延时、本地弹性化算力等方面取得巨大成功，这也是中国电信 MEC 和阿里云边缘计算在消费互联网场景下的首次实践落地，对后续 5G MEC 在高新互动视频领域的应用具有重大意义。5G 边缘计算 自由视角，让体育赛事更畅快 113 所谓“自由视角”，是通过在体育场馆内环绕部署多台摄像机，将现场采集的多路视频内容编排整合后回传至中心云或边缘节点，通过中心云或边缘节点部署的算力，将视频流做 3D 渲染重建，再将渲染后的视频流实时传送给观众，让观众可以在 150度的范围内随心滑动观看比赛，真正实现“你的视频你做主，你就是这场球赛的导播”。提及视频直播，让人爱恨交叠。视频直播带给观众的视觉体验和互动体验是传统静态文字传播媒介无法企及的，但直播中必然伴有不佳体验，例如延时久、卡顿、掉线、黑屏等等，在此困局之上，如何造就自由视角的畅爽体验？在此次 CUBA 中国大学生篮球联赛直播过程中，优酷借助现场 40 台摄像机同步进行视频拍摄，将多路视频通过现场编码器拼合后通过 RTMP 上传给云端计算集群，通过 3D 重建算法实现 6dof 视频的生产，然后将视频经由 RTMP 上行到直播中心。当用户终端选择进入 6dof 视频播放，边缘云通过调度服务找到距离最近的 MEC 边缘计算节点，用户将直播或点播 ID 和用户观看视角上行到 MEC 边缘节点，MEC 边5G 边缘计算 自由视角，让体育赛事更畅快 114 缘节点拉取对应的 6dof 直播 HLS 流，实现下载，下载解码后，根据用户传入角度通过算法差值计算出对应角度的视频流，并通过 5G 网络发送给终端用户。在整个链路之中，视频的 3D 渲染重建依托于中国电信（江苏公司、云公司）边缘云计算 MEC 与阿里云边缘计算操作系统的技术整合。以边缘计算形式实现视频数据就近云化处理，提高数据运算能力，降低对用户终端设备本身的性能依赖，进一步优化用户访问的网络时延，更从容应对大流量、高并发的同时也能降低中心压力，更好满足如赛事直播、综艺直播、在线教育等互联网场景下大带宽、低时延的业务需求。中国电信（江苏公司、云公司）将 5G 网络与边缘计算 MEC 产品紧密结合，依托 5G网络低时延、广覆盖的特性，以及中国电信遍布区县、更靠近用户的机房，将视频数据在本地完成处理，极大降低观众观看直播的时延，更好的满足大带宽、低时延业务的需求，为观众打造了低时延、高清、极速的观看体验。为了更加有效地实现对电信 MEC 边缘云资源的部署、分发和调度，中国电信 MEC边缘云也完成了与阿里云边缘计算操作系统的技术对接。阿里云边缘计算操作系统的引入，使得中国电信广覆盖、全程安全、能力开放的边缘云 MEC 计算能力得到更优的编排与管控，进一步优化了用户访问的网络时延，更从容应对大流量、高并发的同时，也能降低中心节点压力，更好满足如赛事直播、综艺直播、在线教育等互联网场景下大带宽、低时延的业务需求。5G 边缘计算 自由视角，让体育赛事更畅快 115 实际上，阿里云边缘计算操作系统，是基于阿里云的虚拟化以及网络、计算、存储、安全等方面的技术沉淀，形成的一个大规模、分布式的、位置无感的、屏蔽底层资源差异、规模差异和使用差异的边缘计算平台。通过能力的开放以及运维联动，为上层视频应用提供丰富的边缘中间件能力。以上两者的技术打通，使得计算无处不在，充分发挥近终端、低延时、弹性算力的价值，赋能视频行业突破原有业务边界。5G 已经到来，边缘计算是 5G 产业大规模应用的助推器。本次中国电信（江苏公司、云公司）、阿里云与优酷的三方合作，可以说打通了 5G 面向互联网商用之路的一道门。未来，边缘计算必将进一进激发视频产业创新变革，为观众带来更加沉浸式、更震撼新颖的视频娱乐体验；同时边缘计算将随着 5G 应用的推动在智能制造、云视频直播等一系列 ToB、ToC 领域场景获得更广泛的部署。发布时间：2021 年 4 月 13 日 作者：Edge Cloud 扫码关注 视频云技术公众号 阿里云开发者“藏经阁”海量电子手册免费下载 内容编辑 籍云 盈君 惬来