ICME 2021

01

背景介绍

ICME会议

2021年7月，计算机多媒体领域知名会议，IEEE国际多媒体与博览国际会议（ICME）在线上召开，ICME是IEEE的旗舰年会之一，也是计算机多媒体领域最重要的国际会议之一。本届会议，腾讯多媒体实验室标准团队，先后有四篇论文入选，分别为 《基于AV1的下一代视频编码算法研究》"Study On Coding Tools Beyond AV1", 《实时H.266/VVC软件解码器》"A real-time H.266/VVC Software Decoder", 《AVS3中的增强型隐择变换跳过技术》"Enhanced Implicit Selection of Transform Skip in AVS3", 和《AVS3中低复杂度的帧内串复制技术》"Low Complexity Implementation of Intra String Copy in AVS3"。

多媒体实验室

腾讯多媒体实验室标准团队的研究领域包括图片、音频和视频的压缩、传输和AI。实验室成员积极参与相关的工业论坛，以技术推动产业的发展。腾讯多媒体实验室积极参与JVET、MPEG、VCEG、AVS、AOM、Video Quality Standards、3GPP、IETF等国际核心标准组织，实验室专家在各标准组织中担任重要职务，在深入标准研究制定的同时积极推动标准技术落地，广泛应用服务于腾讯各业务线。

02

论文解读

《基于AV1的下一代视频编码算法研究》

视频编码是视频应用的底层核心技术，其相关标准的制定工作向来都是多媒体领域产业界的兵家必争之地。尤其在后疫情时代，视频通信产业迎来新一轮的突破增长，视频技术领域的发展和创新更显得尤为重要。在这篇论文中，腾讯多媒体实验室和Google团队联合探索并提出了面向下一代视频编码的多项技术方案，“半耦合块划分” (Semi-Decoupled Partitionng SDP), “帧内二次变换” (Intra Secondary Transform IST)，“跨色度分量补偿” (Cross-Component Sample Offset CCSO)等。这些技术方案在编码块划分，帧内预测，变换，环路滤波等核心视频编码技术环节实现了显著的性能提升，总体能够相同质量（PSNR，SSIM）前提下，相比AV1平均8%文件大小节省，最高单张图像实现22%的文件大小节省。在相同文件大小前提下，提出的技术方案能够实现显著的主观质量提升。

《实时H.266/VVC软件解码器》

H.266采用的各种编码工具是解码端的复杂度相对于H.265有大幅度上升，解码速度明显变慢。为了能让解码器实时解码，从而能在实际中得以应用，我们进行了解码器速度优化，优化主要包括PC、移动端的simd和多线程优化。其中多线程优化涵盖了帧间多线程，编码树单元行多线程，熵解码，重构，滤波等不同任务的多线程。实验结果表明优化后解码器可以实现4k高清视频的实时解码。

《AVS3中的增强型隐择变换跳过技术》

变换模块是视频编码框架中的基础模块之一，而变换标志位的处理方法对变换模块性能的影响较大。针对DCT和变换跳过的标识位编码方法，原有方案利用非零系数的奇偶性进行隐含编码，但当系数个数不满足约束条件时，可能会强制清零大于1的系数，导致造成较大的信息丢失。为了解决这一问题，本文提出了一种隐含导出的改进方案，利用偶数系数个数的奇偶性隐含编码标识位，使得隐含导出过程中系数调整的最大误差为1。相对原有方案，在隐含编码标志位的同时，减小了系数信息的丢失，从而有效地提升了编码效率。本文提出的方法已被采纳到国家第三代视频编码标准AVS3，将在未来发挥重要的产业价值。

《AVS3中低复杂度的帧内串复制技术》

屏幕内容视频广泛应用于在线会议，远程桌面和云游戏等应用中，与传统的相机拍摄视频不同，屏幕内容视频通常具有空间相关性更高，颜色单一，边缘锐利等特点。针对这一特性，主流的视频编码标准如HEVC，VVC，AV1和AVS3中都增加了对屏幕内容编码技术的支持。

我们提出了一种低复杂度的帧内串复制技术，该技术按照往返扫描方向将编码块划分为一系列匹配或不完全匹配的串，并从当前视频图像或码流中导出各个串的预测值，能够以更小的码率开销为编码块提供更准确的预测。

同时，我们限制了该技术的参考范围和扫描方向以简化硬件实现，提出了串长度分辨率技术限制串的划分方式，从而提升参考内存的访问效率，并通过跨模式的位移矢量预测技术提升了串矢量的编码效率。

实验结果表明，我们提出的方法能够显著提升屏幕内容视频的编码效率，并将硬件实现复杂度维持在一个可接受的水平。该方法已被AVS3视频编码标准采纳。

请随时与我们联系并分享您的需求：

腾讯多媒体实验室

[email protected]

作者：张意晗

编辑：张意晗