说明：我们参考黄金圈学习法（什么是黄金圈法则?->模型 黄金圈法则，本文使用：why-what）来学习音H264视频编码。本系列文章侧重于理解视频编码的知识体系和实践方法，理论方面会更多地讲清楚 音视频中概念的起源以及各个概念的联系。知其然，知其所以然。同时更强调知识系统的建立。

针对本文，我们主要讲研究 H.264数据压缩的流程及其相关概念。 H.264数据压缩的目的只有一个，压缩压缩再压缩，减少视频数据大小的同时尽可能地保证图像质量。所以在学习H.264数据压缩前 我们先要理解：虽然这个流程中涉及的概念、方法颇多，但是所有的方法和流程都是为了这个目的：压缩。

H.264是的数据压缩流程主要总结为以下几个关键步骤：宏块划分和子块划分-> 帧分组-> 帧预测-> 整数离散余弦变换（DCT）-> CABAC压缩。具体展开说明如下。

宏块(macro block)：可以这样理解，视频帧被送到H264 编码器的缓冲中时，编码器为每一幅图片划分宏块。H264 编码默认是使用 16X16 像素大小的区域作为一个宏块（H265使用的是64X64像素大小的区域），视频中的一帧图像划分成宏块的效果如下：

同时在上图中我们实际上还可以在 16X16 像素的宏块上更划分出更小的子块。子块的大小可以是 8X16､ 16X8､ 8X8､ 4X8､ 8X4､ 4X4非常灵活。而再次划分成子块的目的就是用很小的数据去记录这个数据。宏块划分好后，就可以对H264编码器缓存中的所有图片进行分组了。

宏块和子块划分使得视频编码可以更加精确地对视频内容进行分析和处理，实现更高效的数据压缩。视频帧被划分为大小为16x16像素的宏块，这些宏块可以进一步划分为更小的块，如8x8、8x4、4x8等，以适应图像内容的复杂性。

帧分组（GOP结构）是在帧内预测和帧间预测之前进行定义的。在视频编码的流程中，帧分组的设置是初始步骤之一，它决定了视频帧的组织和编码顺序。帧分组主要目的是为了减少数据冗余。其中视频数据冗余主要分两类：

H264的帧分组执行步骤：

当分组结束后，就开始解决帧预测压缩的问题了。

该部分主要包括帧内预测和帧间预测。其中帧内预测是对静态图像帧进行压缩，通过9种不同的模式预测每个宏块的像素值，然后计算出与原始图像的残差值。而帧间预测（运动估计和运动补偿）：对于P帧和B帧，通过运动估计找出与前一帧或双帧之间的运动向量，然后进行运动补偿预测，生成预测图像，并计算出与当前帧的残差。

注意：帧内预测和帧间预测的顺序取决于编码帧的类型和编码策略。在实际的视频编码器实现中，这些步骤是编码流程的一部分，由编码器自动处理。不一定非得谁先处理。

帧内预测压缩：解决的是空域数据冗余问题。 空域冗余数据是指颜色、光亮等，主要针对人眼不敏感的信息，编码通过对其进行删除来压缩。帧内预测使用的原理就是人眼对图象都有一个识别度，对低频的亮度很敏感，对高频的亮度不太敏感（可以理解为 一个宏块16X16大小，H264中通过最上层16个像素和 最左侧16个像素来预测其他数据，这样原本需要16*16=256的像素表示信息可以转换为 16+16-1=31个像素来表示信息）。

帧间预测压缩(运动估计与补偿)：解决的是时域数据冗余问题。 视频中按照时间顺序线性排列的多帧画面，帧画面间相关性很强，所以帧与帧之间会有许多的可以删除的数据。经过压缩后会分为 I帧、P帧、B帧 3种类型（说明：运动估计与补偿原理： H264编码器首先按顺序从缓冲区头部取出两帧视频数据，然后进行宏块扫描。当发现其中一幅图片中有 物体时，就在另一幅图的邻近位置(搜索窗口中)进行搜索。如果此时在另一幅图中找到该物体，那么 就可以计算出物体的运动矢量了。下面这幅图就是搜索后的台球移动的位置）。

对于P帧和B帧，通过运动估计找出与前一帧或双帧之间的运动向量，然后进行运动补偿预测，生成预测图像，并计算出与当前帧的残差。

该步骤主要是对预测残差进行DCT变换，将空间上的相关性转换为频域上无关的数据，然后进行量化。DCT主要运用于数据或图像的压缩，将空间上的相关性变为频域上无关的数据然后进行量化（说明：DCT变换能够把图像更重要的信息聚集在一块，对于那些不重要的频域区域和系数就能够直接裁剪掉）。

总结：帧数据压缩的顺序是 先进行 帧间和帧内压缩，之后对残差数据进行DCT变换，去掉数据的相关性，进一步压缩数据。如下所示：

CABAC压缩是一种无损压缩技术，属于熵编码的一种方法。CABAC在压缩编码时是给高频数据定义成短码，给低频数据定义成长码。该方式比VLC方式要高效。使用CABAC（Context-Adaptive Binary Arithmetic Coding）熵编码方法对量化后的系数进行进一步压缩，提高压缩效率。这里将前面4步处理得到的数据使用编码算法编码为最终的码流。最终经过压缩后的帧分为：I帧，P帧和B帧。CABAC无损压缩方法执行后得到视频码流。

空间上的数据冗余和时间上的数据冗余是视频压缩中的两个基本概念，它们分别描述了视频帧内部和视频帧之间的重复信息。

空间上的数据冗余（Spatial Redundancy）解读：

时间上的数据冗余（Temporal Redundancy）解读：

在H.264视频压缩中，残差数据（Residual Data）是指原始视频帧与预测帧之间的差异。同时要想更深入的了解残差数据，需要对以下概念有所了解，如下所示：

预测帧：在视频编码过程中，会使用帧内预测（Intra Prediction）或帧间预测（Inter Prediction）来生成预测帧。帧内预测基于当前帧的像素信息，而帧间预测则基于先前或后续帧的运动补偿信息。

原始帧：指的是视频序列中实际捕获的原始图像帧。

残差计算：通过从原始帧中减去预测帧，计算得到残差数据。残差数据表示了预测帧与原始帧之间的差异。

有了以上这些概念的基础，我们可以进一步理解残差数据的特点：

残差数据通常具有较高的空间随机性，因为预测帧已经去除了大部分的冗余信息。这种随机性使得残差数据适合通过变换和量化进一步压缩。

残差数据经过整数离散余弦变换（Integer Discrete Cosine Transform, IDCT）和量化处理后，可以显著减少数据量。变换将残差的二维空间信息转换为频率信息，量化则减少这些系数的精度，去除人眼不易察觉的细节。

编码残差数据的目的是进一步减少视频数据的比特率，同时尽量保持图像质量。同时残差数据的有效压缩对于H.264编码效率至关重要，因为它直接影响到编码后视频的质量和所需的存储或传输带宽。

熵编码是一种无损数据压缩技术，基于信息熵的概念，旨在用尽可能少的位数表示数据。熵编码的核心思想是为更可能出现的符号分配更少的比特，而为不常出现的符号分配更多的比特。这样，期望的存储空间或传输带宽就会减少，因为整个数据集的平均比特率会降低。

熵编码通常用于文本和一些特定类型的数据压缩，它可以显著提高压缩效率，特别是当数据具有明显的非均匀概率分布时。在视频压缩编码中，与视频压缩关系最紧密的熵编码方法主要有以下几种：

在视频压缩中，熵编码是最后的编码步骤，用于对帧内预测和帧间预测后的残差数据进行编码。残差数据是原始数据和预测数据之间的差异，通常具有更少的能量和更不均匀的概率分布。通过熵编码，可以进一步减少这些残差数据的比特率，从而达到压缩视频数据的目的。