[音视频处理] FFmpeg使用指北1

本文将详细介绍如何使用ffmpeg 4.4在C++中解码多种格式的媒体文件，这些媒体文件可以是视频、视频流、图片，或是桌面截屏或USB摄像头的实时图片。解码文件后，还将每帧图片转换为OpenCV的Mat格式以供后续使用。

在开始之前，需要先安装FFmpeg。对于Windows用户，可以参考FFmpeg + Visual studio 开发环境搭建；对于Linux用户，可以参考FFmpeg4.4编译。

本文主要参考了ffmpeg-libav-tutorial/0_hello_world.c提供的代码。值得注意的是，由于FFmpeg版本变化较大，本文所使用的FFmpeg接口和以往有所不同。如果想进一步学习FFmpeg代码的使用，可以阅读FFmpeg-libav-tutorial、ffmpeg-learning-indexes和视音频编解码技术零基础学习方法(由于作者雷霄骅不幸英年早逝，哀悼！该文主要基于旧ffmpeg版本，但是仍然有很好的学习价值)。

涉及的步骤如下图所示：

解封装

在音视频处理过程中，解封装是指将输入的音视频文件进行解析，提取出音频流和视频流等多种流媒体数据，以便后续的数据处理和解码。在解封装过程中，首先需要判断输入源的格式，即判断输入的音视频文件是属于哪种格式。然后打开文件，查找流信息和视频索引。

解码

解码是指将音视频数据进行解码，将压缩后的数据转换成原始的音视频数据，以便后续的数据处理和播放。在解码过程中，需要初始化解码器，并打开解码器。本文只解码视频，音频则不进行处理。

取数据

在取数据过程中，需要初始化数据结构，读取视频帧，并将视频帧发送给解码器。随后，从解码器获取解码结果。

数据处理

数据处理是指对音视频数据进行各种处理，比如色彩空间转换、图像尺寸变换、图像格式转换等。

释放资源

在完成解码和数据处理后，需要释放结构体，以释放资源。释放资源是指对音视频处理过程中占用的各种资源进行释放，包括解码器、数据结构、缓冲区等。

详细代码如下：

以上代码参考下图阅读最好。图片来自ffmpeg-libav-tutorial/decoding.png。

如果是linux下使用该代码文件还需编写CMakeLists.txt，CMakeLists.txt内容如下：

解封装的作用是从输入的封装格式数据（例如MP4、AVI、MKV）中提取视频流压缩编码数据和音频流压缩编码数据。封装格式的作用是将已经压缩编码的视频数据和音频数据按照一定的格式放在一起。例如，将MP4封装格式的数据输出H.264编码格式的视频流和AAC格式的音频流。一般解封装的流程如下：

AVFormatContext是一个存储流媒体相关信息的上下文结构体(统领相关操作全局的结构体)。几乎所有的音视频操作都需要先创建一个AVFormatContext对象。AVFormatContext使用完毕需要手动释放内存。AVFormatContext的主要属性及使用说明：

该结构体涉及以下函数：

avformat_alloc_context

avformat_alloc_context用于分配AVFormatContext结构体并初始化。该函数返回一个指向AVFormatContext结构体的指针，如果分配失败则返回NULL。

avformat_open_input

avformat_open_input用于打开输入的媒体文件，将音视频文件的元数据信息读取到AVFormatContext结构体中。函数返回0表示成功打开文件。

avformat_find_stream_info

avformat_find_stream_info用于获取输入文件的流信息。它会读取输入文件的所有数据包，并尝试从中获取流的参数，如流的编解码器、帧率、分辨率等等。在调用avformat_find_stream_info之后，可以通过 AVFormatContext结构体中的streams字段访问到每个流的详细信息。函数返回值大于等于0表示成功。

avformat_close_input

avformat_close_input用于关闭AVFormatContext文件并释放相关资源。一般情况下avformat_close_input和avformat_open_input成对使用，该函数也在内部会调用avformat_free_context函数释放AVFormatContext结构体。

avformat_free_context

avformat_free_context用于释放AVFormatContext结构体。

AVInputFormat用于表示输入的媒体文件的格式。主要作用为通过解析输入的媒体文件，并将其转换成FFmpeg内部所使用的数据结构。AVInputFormat结构体的内存由FFmpeg库自动分配和释放，在调用avformat_close_input函数后，FFmpeg库将自动释放AVInputFormat结构体。AVInputFormat的主要属性及使用说明：

解码的作用是将视频或音频压缩编码数据转换成为非压缩的视频或音频原始数据。例如将H.264的视频压缩数据解码为逐帧YUV图像数据。一般解码的流程如下：

AVStream是FFmpeg中表示音视频流的结构体，每个AVStream结构体都对应一个视频或音频流的相关数据。AVStream结构体的内存由FFmpeg库自动分配和释放。AVStream的主要属性及使用说明：

AVCodecContext包含解码音视频所有信息的上下文结构体。在进行音视频编解码时，通过对AVCodecContext的相关参数进行设置，来控制编解码器的行为。AVCodecContext使用完毕需要手动释放内存。AVCodecContext的一些常用参数包括：

该结构体涉及以下函数：

avcodec_alloc_context3

avcodec_alloc_context3函数用于分配AVCodecContext结构体并进行初始化。该函数返回一个指向AVCodecContext结构体的指针，如果分配失败则返回NULL。

avcodec_parameters_to_context

avcodec_parameters_to_context函数的作用是将AVCodecParameters中的参数设置到AVCodecContext中。返回值小于0表示设置失败。

avcodec_open2

avcodec_open2用于打开AVCodec并初始化AVCodecContext。返回0表示成功，否则表示失败。

avcodec_send_packet

avcodec_send_packet函数用于将一个未解码的AVPacket数据送入解码器AVCodecContext进行解码。该函数执行成功后，解码器AVCodecContext内部的缓存将会被填充上相应的数据，可以通过调用avcodec_receive_frame函数来获取解码结果。返回值为0表示成功，否则表示失败。

avcodec_receive_frame

avcodec_receive_frame用于从解码器中获取解码后的视频帧。avcodec_receive_frame一般会外嵌while循环，可以保证在没有接收到可用帧之前不会退出循环，从而避免数据包丢失或者解码错误的情况发生。

返回值表示获取到的视频帧的状态，具体取值如下：

avcodec_free_context

avcodec_free_context函数用于释放AVCodecContext结构体所占用的内存。

AVCodec用于表示视频或音频的编解码器。AVCodec数据结构的内存由FFmpeg库自动分配和释放。AVCodec的主要属性及使用说明：

该结构体涉及以下函数：

avcodec_find_decoder

avcodec_find_decoder用于通过codec_id查找指定已经注册的解码器。 如果找到了指定的解码器，返回指向该解码器的AVCodec指针。如果未找到指定的解码器，返回 NULL。

AVCodecParameters主要用于存储音视频编解码器的相关参数信息。AVCodecParameters数据结构的内存由FFmpeg库自动分配和释放。AVCodecParameters常用属性介绍：

AVPacket用于保存解码前的数据，AVFrame则用于保存解码后的数据。在解码器中，AVPacket中的数据会被解码成AVFrame。在编码器中，AVFrame中的数据会被编码成AVPacket。

AVPacket是用于存储压缩音频或视频数据的结构体。它包含了一段压缩后的数据和对应的时间戳信息，以及一些其他的附加信息，如数据流索引、关键帧标识等。在解码过程中，AVPacket会被送到解码器中进行解码，得到AVFrame。AVPacket使用完毕需要手动释放内存。AVPacket的主要属性如下：

该结构体涉及以下函数：

av_packet_alloc

av_packet_alloc用于创建AVPacket结构体并为其分配内存空间。函数返回一个指向新分配的AVPacket结构体的指针。如果分配失败，则返回NULL。

av_packet_unref

av_packet_unref函数用于清除AVPacket结构体中的数据，但是并不会释放这个结构体本身，以便可以重新使用或销毁AVPacket结构体。

av_packet_free

av_packet_free用于释放AVPacket结构体所占用内存。

AVFrame是用于存储解码后的数据的结构体。它包含了一帧图像或音频解码后的数据，以及一些相关的信息，如宽度、高度、像素格式等。在解码过程中，AVFrame是解码器输出的数据，它可以被送到渲染器中进行渲染，也可以被编码器编码成新的AVPacket。AVFrame使用完毕需要手动释放内存。AVFrame结构体中常用的属性介绍和说明：

该结构体涉及以下函数：

av_frame_alloc

av_frame_alloc用于创建AVFrame结构体并为其分配内存空间。函数返回一个指向新分配的AVFrame结构体的指针。如果分配失败，则返回NULL。

av_read_frame

av_read_frame用于从AVFormatContext中读取媒体文件中的音频或视频帧，并将数据存储到AVPacket中。返回值为0表示读取成功，为负数表示读取失败。

av_frame_free

av_frame_free函数用于释放AVFrame结构体占用的内存空间。

AVRational结构体是FFmpeg中表示有理数的结构体，用于表示时间戳、帧率、采样率等一些基本的时间和频率相关的属性。AVRational结构体包含两个整型成员，num和den，分别表示分子和分母。用AVRational结构体表示的有理数值为num/den。AVRational结构体中的成员变量由FFmpeg内部自动分配和释放。AVRational属性如下：

该结构体涉及以下函数：

av_q2d

av_q2d是一个用于将AVRational转换为double类型的函数，也就是将AVRational中的分子和分母相除。

SwsContext是FFmpeg中用于图像转换的数据结构，它包含了图像转换所需的所有参数。要注意的是该结构体的原始定义在swscale_internal.h文件中，普通编译的ffmpeg工程没有该文件。所以该结构体一般仅仅是使用。SwsContext使用完毕需要手动释放内存。SwsContext的主要参数如下：

在使用FFmpeg解码时，默认解码后图像的颜色格式为YUV420p，关于YUV420p介绍见YUV图像处理入门1。

该结构体涉及以下函数：

sws_getContext

sws_getContext的作用是创建一个用于图像转换的SwsContext结构体。如果创建成功，返回一个指向SwsContext结构体的指针，否则返回NULL。函数原型如下：

sws_scale

sws_scale用于执行多种不同的像素格式转换。sws_scale函数的返回值为输出图像的高度，返回值小于等于0表示转换失败。

sws_freeContext

sws_freeContext的作用是释放SwsContext结构体占用的内存空间，避免内存泄露。

AVDictionary是FFmpeg中的一个字典结构体，用于存储键值对数据。AVDictionary使用后一般不需要手动释放内存，但是建议手动释放内存。以下是AVDictionary属性的说明：

该结构体涉及以下函数：

av_dict_set

av_dict_set用于向字典中添加或修改键值对。该函数的返回值为0表示成功，否则表示失败。av_dict_set可以设置的有效键值对需要参阅。

av_dict_free

av_dict_free用于释放字典（dictionary）结构体占用的内存空间。

avdevice_register_all

avdevice_register_all用于注册所有可用的音视频输入/输出设备，以方便进行数据采集。

av_find_input_format

av_find_input_format用于查找输入视频流格式。该函数返回值是一个指向AVInputFormat结构体的指针。

本文来自博客园，作者：落痕的寒假，转载请注明原文链接：https://www.cnblogs.com/luohenyueji/p/17445699.html