OpenCV 图像处理学习手册：1~5

一、处理图像和视频文件

本章旨在与 OpenCV，其安装和第一个基本程序进行首次接触。 我们将涵盖以下主题：

OpenCV（开源计算机视觉）最初是由英特尔开发的，它是一个免费跨平台库，用于实时图像处理，实际上已经成为用于与计算机视觉相关的所有事物的标准工具。 第一个版本于 2000 年以 BSD 许可证发行，此后，其功能得到了科学界的极大丰富。 2012 年，非营利组织 OpenCV.org 承担了为开发人员和用户维护支持网站的任务。

在撰写本书时，OpenCV 的新主要版本（版本 3.0）可用，但仍处于 beta 状态。 在整本书中，我们将介绍此新版本带来的最相关的更改。

OpenCV 适用于最流行的操作系统，例如 GNU/Linux，OSX，Windows，Android，iOS 等。 第一个实现是在C编程语言中实现的； 但是，随着版本 2.0 的 C++ 实现，它的受欢迎程度随之增加。 新功能使用 C++ 编程。 但是，如今，该库具有其他编程语言（例如 Java，Python 和 MATLAB/Octave）的完整接口。 另外，还开发了用于其他语言（例如 C＃，Ruby 和 Perl）的包装程序，以鼓励程序员采用。

为了最大程度地提高计算密集型视觉任务的性能，OpenCV 包括对以下内容的支持：

OpenCV 的应用涵盖以下领域：分段和识别，2D 和 3D 功能工具包，对象识别，人脸识别，运动跟踪，手势识别，图像拼接，高动态范围（HDR）成像，增强现实等等。 此外，为了支持某些先前的应用领域，还包括具有统计机器学习功能的模块。

OpenCV 可从这里免费下载。 该站点提供了发行的最新版本（当前为 3.0 beta）和较旧的版本。

如果下载的版本是不稳定版本，例如当前的 3.0 beta 版本，则应格外小心，以免出现错误。

在这个页面上，可以找到适用于每个平台的 OpenCV 版本。 可以根据最终目的从不同的存储库中获取代码和库信息：

而不是 GNU/Linux 和 OSX，其中 OpenCV 仅作为源代码分发，在 Windows 发行版中，可以找到预编译的（使用 Microsoft Visual C++ v10，v11 和 v12）的版本。 每个预编译的版本都可以与 Microsoft 编译器一起使用。 但是，如果主要目的是使用不同的编译器框架开发项目，则需要为该特定编译器（例如 GNU GCC）编译库。

使用 OpenCV 最快的方法是使用发行版随附的预编译版本之一。 然后，更好的选择是使用用于软件开发的本地平台的最佳设置来构建库的微调版本。 本章提供在 Windows 上构建和安装 OpenCV 的信息。 在这个页面和这个页面上可以找到在 Linux 上设置库的更多信息。

使用 OpenCV 开发跨平台的一个不错的选择是使用 GNU 工具包（包括 gmake，g++ 和 gdb）。 对于大多数流行的操作系统，可以轻松获得 GNU 工具包。 对于开发环境，我们的首选选择包括 GNU 工具包和跨平台 Qt 框架，其中包括 Qt 库和 Qt Creator 集成开发环境（IDE）。 Qt 框架可从这个页面免费获得。

在 Windows 上安装编译器之后，请记住正确设置Path环境变量，为编译器的可执行文件添加路径，例如 Qt 框架随附的 GNU /编译器的C:\Qt\Qt5.2.1\5.2.1\mingw48_32\bin。 在 Windows 上，免费的快速环境编辑器工具（可从这个页面获得）提供了一种方便的方式来更改Path和其他环境变量 。

要以与编译器无关的方式管理 OpenCV 库的生成过程，推荐使用 CMake 工具。 CMake 是可从这个页面上获得的免费且开源的跨平台工具。

将库的源代码下载到本地磁盘后，需要为该库的编译过程配置 Makefile。 CMake 是轻松配置 OpenCV 安装过程的关键工具。 它可以从命令行使用，也可以通过图形用户界面（GUI）版本以更加用户友好的方式使用。

使用 CMake 配置 OpenCV 的步骤总结如下：

以下屏幕截图显示了 CMake 的主窗口，其中包含源目录和目标目录以及将所有可用选项分组的复选框：

预先配置步骤后的 CMake 主窗口

为简便起见，本文中使用OPENCV_BUILD和OPENCV_SRC分别表示 OpenCV 本地设置的目标目录和源目录。 请记住，所有目录都应与您当前的本地配置相匹配。

在预配置过程中，CMake 会检测到存在的编译器和许多其他本地属性，以设置 OpenCV 的生成过程。 上一个屏幕截图显示了预配置过程后的 CMake 主窗口，并以红色显示了分组的选项。

可以保留默认选项不变，然后继续配置过程。 但是，可以设置一些方便的选项：

如果编译新的 OpenCV 3.0（测试版），请小心，因为已报告一些与 IPP 包含有关的意外错误（即，使用此选项的默认值）。 我们建议您取消设置WITH_IPP选项。

如果配置与 CMake 一起执行（循环执行步骤 4 和 5）没有产生任何其他错误，则可以为构建过程生成最终的 Makefile。 以下屏幕截图显示了生成步骤后没有错误的 CMake 主窗口：

使用 CMake 生成 Makefile 的过程之后的下一步是使用适当的make工具进行的编译。 通常在目标目录（在 CMake 配置步骤中设置的目录）的命令行（控制台）上执行此工具。 例如，在 Windows 中，应从命令行启动编译，如下所示：

此命令使用 CMake 生成的 Makefile 启动构建过程。 整个编译通常需要几分钟。 如果编译没有错误结束，则安装将继续执行以下命令：

此命令将 OpenCV 二进制文件复制到OPENCV_BUILD\install目录。

如果在编译过程中出现问题，我们应该再次运行 CMake 来更改在配置过程中选择的选项。 然后，我们应该重新生成 Makefile。

通过将库二进制文件的位置（例如，在 Windows 中，生成的 DLL 文件位于OPENCV_BUILD\install\x64\mingw\bin）添加到Path，安装环境变量的末尾。 如果Path字段中没有此目录，则每个 OpenCV 可执行文件的执行都会出错，因为找不到库二进制文件。

要检查安装过程是否成功，可以运行随库一起编译的一些示例（如果使用 CMake 设置了BUILD_EXAMPLES选项）。 代码示例（用 C++ 编写）可以在OPENCV_BUILD\install\x64\mingw\samples\cpp找到。

安装 OpenCV 的简短说明适用于 Windows。 可以在这个页面上阅读有关 Linux 前提条件的详细说明。 尽管本教程适用于 OpenCV 2.0，但几乎所有信息对于版本 3.0 仍然有效。

一旦安装 OpenCV ，OPENCV_BUILD\install目录将填充三种类型的文件：

OpenCV 具有模块化的结构，这意味着该包为每个模块都包含一个静态或动态（DLL）库。 每个模块的正式文档可以在这个页面中找到。 包中包含的主要模块是：

其他一些模块是calib3d（相机校准），flann（聚类和搜索），ml（机器学习），shape（形状距离和匹配），superres（超分辨率），video （视频分析）和videostab（视频稳定）。

从 3.0 beta 版开始，新的贡献模块以单独的包（opencv_contrib-master.zip）分发，可以从这个页面下载。 这些模块提供了的附加功能，在使用它们之前，应充分了解它们。 有关新版 OpenCV（版本 3.0）中新功能的快速概述，请参考位于这个页面的文档。

在本书中，我们假定 C++ 是用于编程图像处理应用的主要语言，尽管实际上提供了其他编程语言的接口和包装器（例如 Python，Java，MATLAB/Octave 等）。

在本节中，我们将说明如何使用易于使用的跨平台框架使用 OpenCV 的 C++ API 开发应用。

要使用 C++ 开发 OpenCV 应用，我们需要我们的代码：

OpenCV 标头文件位于OPENCV_BUILD\install\include\opencv2目录中，每个模块都有一个文件（*.hpp）。 头文件的包含是通过#include伪指令完成的，如下所示：

使用此伪指令，可以包含用户程序所需的每个头文件。 另一方面，如果包含opencv.hpp头文件，则将自动包括所有头文件，如下所示：

请记住，本地安装的所有模块都在OPENCV_BUILD\install\include\opencv2\opencv_modules.hpp头文件中定义，该头文件在 OpenCV 的构建过程中自动生成。

#include指令的使用并不总是保证正确包含头文件，因为有必要告诉编译器在哪里可以找到包含文件。 这可以通过在文件的位置传递一个特殊的参数来实现（例如，对于 GNU 编译器为I\）。

链接过程要求您为链接器提供库（动态或静态），可以在其中找到所需的 OpenCV 功能。 通常使用链接器的两种类型的参数来完成：库的位置（例如，对于 GNU 编译器为‑L）和库的名称（例如-l）。

您可以在这个页面和这个页面中找到 GNU GCC 和make可用在线文档的完整列表。

开发我们自己的 OpenCV C++ 应用的主要先决条件是：

用于编程 OpenCV C++ 应用的最受欢迎的编译器套件是：

对于本书介绍的示例，我们使用了 Windows 的 MinGW 4.8 编译器套件以及 Qt 5.2.1 库和 Qt Creator IDE（3.0.1）。 跨平台 Qt 库需要使用此类库提供的新 UI 功能来编译 OpenCV。

对于 Windows，可以从这个页面下载 Qt 捆绑包（包括 Qt 库，Qt Creator 和 MinGW 套件）。 捆绑包约为 700 MB。

Qt Creator 是用于 C++ 的跨平台 IDE，它集成了我们编码应用所需的工具。 在 Windows 中，它可以与 MinGW 或 MSVC 一起使用。 以下屏幕截图显示了 Qt Creator 主窗口，其中包含 OpenCV C++ 项目的不同面板和视图：

Qt Creator 的主窗口带有 OpenCV C++ 项目的一些视图

接下来，我们说明如何使用 Qt Creator IDE 创建代码项目。 特别是，我们将此描述应用于 OpenCV 示例。

我们可以通过导航到文件 | Qt Creator | 新文件或文件 | 项目…，然后导航到非 Qt 项目 | 普通 C++ 项目为任何 OpenCV 应用创建一个项目。 然后，我们必须选择一个项目名称及其存储位置。 下一步是为项目（在我们的情况下为 Desktop Qt 5.2.1 MinGW 32 位）选择一个工具包（即编译器），并确定生成二进制文件的位置。 通常，使用两种可能的构建配置（配置文件）：debug和release。 这些配置文件设置适当的标志来构建和运行二进制文件。

使用 Qt Creator 创建项目时，将生成两个特殊文件（扩展名为.pro和.pro.user）来配置生成和运行过程。 构建过程由在项目创建期间选择的工具包确定。 使用 Desktop Qt 5.2.1 MinGW 32 位套件，此过程依赖于qmake和 mingw32make 工具。 使用*.pro文件作为输入，qmake生成用于驱动每个配置文件（即release和debug）构建过程的 Makefile。 Qt Creator IDE 使用qmake工具作为 CMake 的替代品，以简化软件项目的构建过程。 它可以自动从几行信息中生成 Makefile。

以下各行代表*.pro文件（例如showImage.pro）的示例：

上一个文件说明了qmake生成适当的 Makefile 来构建项目二进制文件所需的选项。 每行以一个标记（表示TARGET，CONFIG，SOURCES，INCLUDEPATH和LIBS）的标签开头，后跟一个标记以添加（+=）或删除（-=）可选值。 在此示例项目中，我们使用非 Qt 控制台应用。 可执行文件为showImage.exe（TARGET），源文件为showImage.cpp（SOURCES）。 由于此项目是基于 OpenCV 的应用，因此最后两个标签指示此特定项目（core，imgcodecs，highgui和imgproc）。 注意，在行末尾的反斜杠表示在下一行继续。

有关在 Qt 项目中开发的工具（包括 Qt Creator 和qmake）的详细说明，请访问这个页面。

图像处理依赖于获得图像（例如照片或视频名望）并通过在其上应用信号处理技术来“播放”图像以获得所需的结果。 在本节中，我们向您展示如何使用 OpenCV 提供的功能从文件读取图像。

Mat类是在 OpenCV 中存储和处理图像的主要数据结构。 此类在core模块中定义。 OpenCV 已实现了为这些数据结构自动分配和释放内存的机制。 但是，当数据结构共享相同的缓冲存储器时，程序员仍应格外小心。 例如，赋值运算符不将内存内容从对象（Mat A）复制到另一个对象（Mat B）； 它仅复制引用（内容的内存地址）。 然后，一个对象（A或B）的更改会影响两个对象。 要复制Mat对象的内存内容，应使用Mat::clone()成员函数。

OpenCV 中的许多函数通常使用Mat类来处理密集的单通道或多通道数组。 但是，在某些情况下，可以使用其他数据类型，例如std::vector，Matx，Vec或Scalar。 为此，OpenCV 提供了代理类InputArray和OutputArray，它们允许将任何先前的类型用作函数的参数。

Mat类用于密集的 n 维单通道或多通道数组。 它实际上可以存储实数或复数值向量和矩阵，彩色或灰度图像，直方图，点云等。

创建Mat对象的方法有很多，最流行的是构造器，其中指定数组的大小和类型如下：

数组元素的初始值可以由Scalar类设置为典型的四元素向量（针对数组中存储的图像的每个 RGB 和透明度分量）。 接下来，我们向您展示Mat的用法示例，如下所示：

DataType类定义了 OpenCV 的原始数据类型。 基本数据类型可以是bool，unsigned char，signed char，unsigned short，signed short，int，float，double或这些原始类型之一的值的元组。 任何原始类型都可以由标识符以以下形式定义：

在前面的代码U中，S和F分别代表unsigned，signed和float。 对于单通道数组，将应用以下枚举，以描述数据类型：

在此，应注意，这三个声明是等效的：CV_8U，CV_8UC1和CV_8UC(1)。 单通道声明非常适合用于灰度图像的整数数组，而数组的三通道声明更适合具有三个分量（例如 RGB，BRG，HSV 等）的图像。 对于线性代数运算，可以使用float（F）类型的数组。

我们可以为多通道数组（最多 512 个通道）定义所有上述数据类型。 以下屏幕截图说明了一个通道（CV_8U，grayscale）的图像内部表示以及三个通道（CV_8UC3，RGB）表示的同一图像。 这些屏幕截图是通过放大 OpenCV 可执行文件窗口中显示的图像（showImage示例）而获得的：

RGB 颜色和灰度的图像的 8 位表示

的注意很重要，要使用 OpenCV 功能正确保存 RGB 图像，必须将图像存储在内存中，其通道按 BGR 顺序排列。 以相同的方式，当从文件中读取 RGB 图像时，它以 BGR 顺序以其通道存储在内存中。 而且，它需要一个辅助的第四通道（alpha）来操作具有 RGB 和透明性三个通道的图像。 对于 RGB 图像，较大的整数值表示 alpha 通道的像素更亮或更透明。

所有 OpenCV 类和函数都在cv命名空间中，因此，我们在源代码中将具有以下两个选项：

OpenCV 支持最常见的图像格式。 但是，其中一些需要（免费提供）第三方库。 OpenCV 支持的主要格式为：

需要辅助库的格式为：

除上述列出的格式外，对于 OpenCV 3.0 版本，它还包括支持以下格式的驱动程序（NITF，DTED，SRTM 等） 由地理数据抽象库（GDAL）设置，并带有 CMake 选项WITH_GDAL。 请注意，尚未在 Windows 操作系统上对 GDAL 支持进行广泛的测试。 在 Windows 和 OSX 中，默认情况下使用 OpenCV 附带的编解码器（libjpeg，libjasper，libpng和libtiff）。 然后，在这些 OS 中，可以读取 JPEG，PNG 和 TIFF 格式。 Linux（和其他类似 Unix 的开源操作系统）正在寻找系统中安装的编解码器。 可以在 OpenCV 之前安装编解码器，也可以通过在 CMake 中设置适当的选项（例如BUILD_JASPER，BUILD_JPEG，BUILD_PNG和BUILD_TIFF）从 OpenCV 包中构建库。

为了说明如何使用 OpenCV 读取和写入图像文件，我们现在将描述showImage示例。 从命令行使用相应的输出窗口执行示例，如下所示：

showImage示例的输出窗口

在此示例中，给出了两个文件名作为参数。 第一个是要读取的输入图像文件。 第二个是要与输入图像的灰度副本一起写入的图像文件。 接下来，我们向您显示源代码及其说明：