【C++】从零开始，只使用FFmpeg，Win32 API，实现一个播放器（三）

前篇：https://www.cnblogs.com/judgeou/p/14728617.html

上一集我们攻略了 Direct3D 11 渲染，充分发挥现代 GPU 的性能。这一集比较轻松，主要是完善剩下需要的功能。

正确控制播放速度其实有非常多的方式，比较常见的是将视频和音频同步，或者与外部时钟同步。但这里我要介绍一种比较少见的方式，可以在没有音频的时候使用，就是利用显示屏的垂直同步信号来同步视频画面。

当调用 IDXGISwapChain::Present 并且第一个参数为 1 时，会阻塞线程，直到屏幕完成一帧画面的显示，发送垂直同步信号，才会返回继续执行，利用这一特性，来完成播放速度的正确处理。

假设我们的屏幕刷新率是 60Hz，视频是 30fps，那么处理起来很简单，每 2 个呈现周期，更新一次视频画面即可，可以保证每一帧画面的出现，时机都恰到好处。但如果视频是 24fps，就需要每 2.5 个呈现周期更新一次画面，导致你的视频画面几乎在绝大多数时候会与正确的播放时机错开，你能做的，只能是这帧慢了，下一帧就快点，这一帧快了，下一帧就慢点。

用 displayCount 和 frameCount 分别记录渲染的帧数和播放的帧数，这两个数字的比值(countRatio)应当与 屏幕刷新率 和 视频帧率 的比值(freqRatio )尽可能接近，所以判断一旦 freqRatio < countRatio 就解码下一帧视频，否则就继续渲染上一次的画面。经过这个改动后，低于或等于屏幕刷新率的视频就可以正常播放了。

但是如果是高刷新率的视频，比如120fps的视频，此时你的屏幕是60帧，那么就要放弃渲染一些帧。

把原来的 if (freqRatio < countRatio) 改为 while (freqRatio < countRatio)，这样视频解码一帧后会再触发判断，如果是120fps视频则继续解码下一帧并跳过 UpdateVideoTexture。

这样不管是什么帧率的视频，在什么刷新率的屏幕上都可以以正确的速度播放了。

注意：通过 EnumDisplaySettings 获取的屏幕刷新率其实是不太精确的，实际刷新率通常不是整数，而是带小数点，这里就不深究了，有兴趣的看 DwmGetCompositionTimingInfo。

先把windows窗体样式改回 WS_OVERLAPPEDWINDOW，方便我们对窗口进行任意缩放。

想要保持画面比例，就要根据当前窗口的 width height 对四边形进行缩放调整，要么变胖变瘦，要么变高变矮，这些都属于缩放变换，那么四边形每一个顶点要如何变化呢？答案就是把每一个顶点坐标，乘以相对应的缩放矩阵即可。其他的诸如平移、旋转等也是通过与矩阵相乘实现的：

当物体的顶点数量十分庞大时，在CPU做矩阵变换太耗费时间了，GPU就非常适合干这个活儿。尽管我们只有4个点，但这里还是使用业界标准做法，把矩阵传送到图形管线，在着色器里面对各个顶点进行矩阵乘法。

这里要用上微软提供的库：DirectXMath，已经包含在 Windows SDK 里了，先引入必要的头文件：

相关函数是在命名空间 DirectX 下的，为了写起来方便，就用 dx 别名代替。

为了把矩阵放进管线，需要一个新的 ID3D11Buffer。

在结构体 ScenceParam 添加 ComPtr pConstantBuffer，并且添加两个属性 viewWidth viewHeight，保存当前窗口大小。

修改 InitScence 函数，添加创建常量缓冲区的代码：

因为需要每一帧都更新 pConstantBuffer 的内容，所以 Usage 必须要是 D3D11_USAGE_DYNAMIC，CPUAccessFlags 必须是 D3D11_CPU_ACCESS_WRITE。初始的时候，先给一个 缩放(1, 1, 1) 矩阵，其实就相当于啥也没变，这里注意 XMMatrixTranspose 函数，他把矩阵的行和列置换了，为什么要干这个呢，因为GPU看待矩阵行列的形式反了过来，CPU他是一行一行的读，GPU是一列一列的读。所以传送到GPU前需要处理一下。不过，缩放矩阵就算你不置换，结果都是正常的🤣，这个你们观察一下上面的图就懂了。

编写一个新函数 FitQuadSize，通过计算 视频的分辨率 和 窗口分辨率的比例写入正确的矩阵

XMMatrixScaling 可以分别设置xyz三个轴的缩放，videoRatio > viewRatio 与 videoRatio < viewRatio 决定到底应该Y轴缩放，还是X轴缩放。使用 ID3D11DeviceContext::Map 把矩阵数据从内存写入到 ID3D11Buffer。

修改 Draw 函数，先调用 FitQuadSize 再把常量缓冲放进管线：

因为需要获取视频分辨率，所以参数也记得加上 DecoderParam。

修改 main 函数：

CreateWindow 创建窗口填入的 width height 数值是包含了标题栏的，所以需要调用 GetClientRect 获取到不含标题栏和边框的长宽大小值。

运行效果：

注意到两边的黑边了吗，虽然窗口高度设置了 720，但是标题栏占了一部分，所以实际显示区域矮了，两边有黑边这才是正确的视频比例。

接着需要修改窗口处理函数 WNDCLASSW::lpfnWndProc，监听 WM_SIZE 消息，把变化后的size放进 ScenceParam。

为了能在 lpfnWndProc 访问到 scenceParam，需要调用 SetWindowLongPtr 把 scenceParam 指针设置进去，然后在 lpfnWndProc 里通过 GetWindowLongPtr 获取。

注意 GET_X_LPARAM GET_Y_LPARAM 这两个宏必须要引入 windowsx.h 这个头文件才能使用。

修改 Draw 函数，当窗口size改变时，交换链也重新设置对应大小。

运行效果：

顺便提一句，使用低分辨率的交换链和光栅视点可以在播放4k高分辨率视频时节省一些GPU性能。

我们不用独占全屏的方式，体验不太好，用无边框全屏正合适。

监听 WM_KEYUP 消息，判断按键是回车键就切换全屏。全屏的调用方式不复杂，改下窗口style，然后发送最大化指令就行，还原的话，就反过来操作。但从全屏回到窗口时，需要特别处理，否则客户端区域获取的是无边框时的大小，但此时应该获取有标题栏情况下的大小才对。

如果你使用的是最新的 Win 10，最新的显卡驱动，在交换链使用Flip的情况下，独占全屏与无边框全屏性能差距几乎没有，这也是为什么从某个时候起3D游戏的显示设置多了无边框全屏的选项给你选择。

是时候来点按钮界面什么的了，用 Win32 的控件做界面实在是麻烦，这里推荐一个库：Dear ImGui，用它可以很方便直接在我们的 dx11 上进行绘制。

首先直接把源码整个下载下来：https://github.com/ocornut/imgui/archive/refs/tags/v1.82.zip

然后把文件夹复制进VS的项目里面：

然后在VS把以下的文件添加进项目：

注意 imgui/backends 里面的其他源码千万别添加进去VS，否则VS会编译他，但你可以保留在文件夹里面。

引入相关头文件：

在 InitScence 初始化 imgui 的 dx11 实现：

编写一个新函数 DrawImgui 处理 imgui 的界面逻辑：

ImGui::ShowDemoWindow() 会显示自带的 demo 窗口。

Draw 函数最后一行调用 DrawImgui。

还要把 windows 窗口的消息传递给 imgui，否则你虽然能看到 imgui 的界面，但是无法和它交互。

调用 InitScence 之前先调用 ImGui::CreateContext 和 ImGui_ImplWin32_Init。

即将退出程序时释放 imgui 的资源。

运行效果：

这里会发现拖动 imgui 窗口到视频画面外的位置时，会有永久停留的拖影，这是因为我们在绘制每一帧的时候，没有刻意去清除以前的内容。

在 DrawIndexed 前调用 ClearRenderTargetView 把整个画面用黑色填充，这样就没有拖影的问题了。

先在 DecoderParam 结构添加三个成员，durationSecond 是视频总长度，currentSecond 是当前播放的进度，都是秒为单位，isJumpProgress 用来判断是否执行跳转。

DecoderParam 初始化方式修改一下：

修改 DrawImgui，显示一个 Slider 控件：

把 currentSecond 绑定到控件，这样 currentSecond 的值改变的时候，控件也会有相应的变化，相反，如果手动拖动 Slider，也会影响 currentSecond 的值。我很喜欢这个双向绑定。同时当我们点击 Slider 的时候把 isJumpProgress 设置为 true，代表执行跳转操作。

AVFormatContext::duration 就是视频的长度，但注意还得除以 AV_TIME_BASE 得到的才是秒。videoTimeBase 是视频流的基本时间单位。

在解码循环里面计算当前的秒数：

运行效果：

可以看到 Slider 会不停的移动，这里我就不去格式化时间了，凑合着用就行。

接着处理 isJumpProgress 的情况：

跳转功能核心函数就是 ffmpeg 的 av_seek_frame，注意 timestamp 参数的单位并不是秒，而是前面我们计算出来的 videoTimeBase，所以要把实际秒数除以它得到最终的数字作为参数。同时别忘了重新计算 frameCount 和 displayCount，否则画面会跳转，但是进度条就不会停留在新位置了。

运行效果：

这里有一个小bug，播放结束后会卡死，下面修复它：

修改 RequestFrame 函数，while 循环里面的 av_read_frame 返回值判断，如果是小于0，则无法再读取新的数据了，此时返回空指针。

解码出来判断如果是空指针，则直接跳出循环，继续渲染画面。此时依然可以拖动进度条回到之前的位置继续播放。

接下来添加播放暂停功能，首先 DecoderParam 添加一个 playStatus

添加一个按钮去控制这个状态。

判断 playStatus 决定是否进入解码的分支：

注意如果是暂停状态就别更新 displayCount，不然重新播放的时候进度会突然往前一大截。

运行效果：

UI 如果老是挡住画面也不太好，加一个鼠标不动1秒，就自动隐藏UI吧：

如果鼠标运动了，就保存当前时间到 mouseStopTime，一旦当前时间与 mouseStopTime 差距大于1秒，并且通过 io.WantCaptureMouse 判断鼠标不在UI上，则隐藏UI。

在 Windows 播放音频需要使用 WASAPI，这是新的接口，从 Windows Vista 开始才有，微软官方有代码例子：https://docs.microsoft.com/en-us/windows/win32/coreaudio/rendering-a-stream，我基本就是参照这份代码改的，用的时候不需要依赖其他库，直接引入头文件即可。

视频一帧的画面是由一个一个像素构成的，音频一秒的声音，是由一个一个 样本(Sample) 构成，一个 Sample 就是一个数字。音频可以用波形来表达，计算机存储波形，就是存储波形函数上的点，一秒钟的波形存储了48000个点，就说明这段音频的采样率是 48000hz，计算机可以反过来根据这些点还原出波形，点数量越多，声波还原度就越高，点 就是刚刚说的 Sample。

FFmpeg 解码音频的产物就是一个个 Sample，我们把这些Sample给到 Windows 的音频接口，计算机就可以发出声音了。

先把音频播放的部分写到两个独立的文件：AudioPlayer.h 和 AudioPlayer.cpp

每台电脑的音频设备所支持的采样率和声道数量可能有所不同，这里我固定使用双声道，并且指定 AUDCLNT_STREAMFLAGS_AUTOCONVERTPCM | AUDCLNT_STREAMFLAGS_SRC_DEFAULT_QUALITY，让系统对 Sample 进行重新采样，以自动适配音频设备的采样率。

WASAPI 的基本操作就是初始化设备后，先 GetBuffer 获取一个指针，然后往里面写入数据，再调用 ReleaseBuffer。但是系统给你的缓冲区是有限的，不能一下往里面写太多，但也不能写入的太慢，否则会导致声音听起来有毛刺。

WASAPI 还提供一种回调的方式，由系统调用你提供的函数指针，你在函数里面写入数据，好处是你只要你的采样率设置正确了，你就不需要操心音频的播放速度，而且不会出现毛刺现象，同时也可以作为视频画面的同步机制，但这里我不用这种方式，因为他对程序结构的影响比较大。

视频和音频数据在文件里面其实是交替存储的，并不是开头一大段视频，最后再存储音频，因为读取文件肯定是顺序读取的，如果视频和音频位置差距太远，机械硬盘磁头就要来回跑，也不适合流式传输。

DecoderParam 需要添加一些新成员：

codecMap 存储 streamIndex 和 AVCodecContext 的键值对，AudioPlayer 使用智能指针就不用担心资源释放的问题（记得引入 map 和 memory 头文件）。

重新编写 InitDecoder

这次多了音频的解码初始化部分，并且把视频和音频的 Context 正确写入 codecMap，并初始化 AudioPlayer。这里固定使用双声道，即使是单声道音频，我们待会也会按需处理。

RequestFrame 函数不能仅仅只返回 AVFrame，还需要直到其媒体类型，所以添加一个结构体来返回比较合适：

codecMap 在这里排上用场了，不同类型的 packet 要发送给不同的解码器。

解码循环添加针对音频的处理：

这样运行就可以听到视频声音了，偶尔画面卡顿会导致声音会出现一些毛刺，想要完全解决这个问题，就需要搞个队列把解码数据缓冲起来，这里我就不搞了。

注意这里并没有刻意去调整音频的播放速度，但是播放起来完全不会出现音画不同步的现象。这是因为音频并不会因为你一下塞很多数据他就会加快速度，再加上音视频数据交替存储，不存在已经解码了很多帧视频都没等到一个音频数据的情况。

WriteFLTP 我专门做了一个空指针判断，如果 data[1] 是空指针，则直接把 data[0] 当作另外一个声道去读取。

最后，加一个控制音量的控件，先在 DecoderParam 添加一个 audioVolume 表示当前音量。

在 InitDecoder 设置好初始音量

在 DrawImgui 添加一个 VSliderFloat 控件，就是竖着的 Slider，然后还监听鼠标的滚轮，这样鼠标的滚轮也可以调整音量。

这里我用的是 WASAPI 提供的音量接口，它和 Windows 的音量合成器是绑定的，缺点是没法超过系统主音量，如果想内部有更灵活的调整，就要对音频数据进行重新处理，这里我就偷懒不写了。

现在整个程序已经可以当一个正常播放器使用，不过其实还是有很多不完善的地方，相当多的边界情况没有处理，以及很多可以加上去的功能，比如滤镜等等，但要分享的内容其实已经差不多了，整个程序是完全单线程的，调试理解也比较方便。最后把源码分享出来：https://gitee.com/judgeou/native-video/tree/cnblog/