**本文主要讲如何通过HOG特征和SVM分类器实现部分交通标志的检测。由于能力有限，本文的检测思路很简单，主要是用来自己练习编程用，也顺便发布出来供需要的人参考。本项目完整的代码（包括数据集）可以在我的github上下载：traffic-sign-detection。博客或代码中遇到的任何问题，欢迎指出，希望能相互学习。废话不多说了，下面就来一步步介绍我的检测过程。

数据集都是我的一个学妹帮忙采集的。在此表示感谢。本文一共选用了6种交通标志，分别为：

一共拍了1465张照片，由于是用手机在路上拍的，图像像素过大且大小不一（有的是横着拍的，有的数竖着拍的），影响检测效率。因此，我先将所有的图片进行了预处理，具体处理步骤为： （1）以图片宽和高较小的值为裁剪的边长S，从原图中裁剪出S×S的正方形中心区域； （2）将裁剪出的区域resize为640×640； 处理的主要函数如下：

标注信息采用和PASCAL VOC数据集一样的方式，对于正样本，直接使用labelImg工具进行标注，这里给出我用的一个版本的链接：https://pan.baidu.com/s/1Q0cqJI9Dnvxkj7159Be4Sw。对于负样本，可以使用python中的xml模块自己写xml标注文件，主要函数如下：

这里我们将1465张图片按照7：2：1的比例随机划分为训练集、测试集和验证集。为了方便运行，我们先建立一个名为images的文件夹，下面有JPEGImages和Annotations分别存放了所有的图片和对应的标注文件。同样，最后附上划分数据集的主要函数：

代码运行的结果是在指定的文件夹下分别创建训练集、测试集和验证集文件夹，并且每个文件夹下包含了JPEGImages和Annotations两个子文件夹来存放结果。

到这里用于目标检测的数据集已经准备好了。下面我们介绍整个检测模型的框架。

本文用的检测思路非常直观，总的来讲分为候选区域提取、HOG特征提取和SVM分类。

理论上可以通过设置不同的滑动窗口对整张图像进行遍历，但是这样做不仅计算太大，而且窗口的大小也不好把握。考虑到我们要检测的交通标志都有比较规则的几何形状和颜色信息，我们可以通过检测形状（平行四边形、椭圆）和颜色（红色、蓝色等）来实现初步的预处理以减少计算量，提高检测效率。这里我们以仅颜色信息为例介绍。

由于需要检测的6类标志主要是红色和蓝色（或者红蓝结合），环境中的不同光照强度可能会使颜色变化较大因此给定一张图像，先在HSV空间中通过颜色阈值分割选出蓝色和红色对应的区域得到二值化图像。然后对二值化图像进行凸包检测（可通过OpenCV实现），下图给出了一个示例：

可以看出，经过二值化处理后，图像中的3个标志（其中2个标志是我们需要检测识别的）的轮廓信息都被保留下来了。但是存在依然存在一些问题：（1）背景噪声较多，这会导致检测更多的凸包，从而影响检测速度和精度；（2）三个标志离得很近，可能会导致只检测出一个凸包。我之前考虑过用腐蚀膨胀来滤除一部分的噪声，但在实验的时候发现这会导致更多的漏检。这是因为在腐蚀膨胀的时候部分标志的轮廓信息很有可能会被破坏（尤其是禁止鸣笛标志），导致在凸包检测的阶段被遗漏。所以在最终测试的时候并没有使用腐蚀膨胀操作。下面给出阈值化处理和凸包检测的函数：

裁剪的部分正负样本如下：

前面几行对应6类正样本，最后一行是背景，可以发现，代码中找出来的背景主要是和我们交通标志颜色（蓝色和红色）相似的区域。我们用相同的方法从我们的验证集中提取正负样本用于SVM模型参数的调整和评估。这里就不再赘述。

从上面各个类别样本数量上来看，正样本的各类标志数量相对背景（负样本）很少。为了近些年数据的平衡，我们对正样本进行了扩充。由于我们的数据中包含了向左向右等标志，如何通过旋转或者镜像变换会出问题（当然可以旋转小范围旋转），我也考虑过亮度变换，但是由于HOG特征中引入了归一化方法使得HOG特征对光照不敏感。最终我选用的是仿射变换，这个可以通过OpenCV很方便地实现，具体的仿射变换理论和代码示例可以参考OpenCV官方教程中的Affine Transformations ，这里也给出我对数据集仿射变换的函数：

上面函数输入参数max_delta_pix用来控制随机仿射变换的最大强度（正整数），max_delta_pix的绝对值越大，变换越明显（太大可能导致目标信息的完全丢失），我在扩充时这个参数取为10。需要注意的是，10只是变换的最大强度，在对每一张图片进行变换前，会在[-max_delta, max_delta]生成一个随机整数delta_pix（当然你也可以多取几次不同的值来生成更多的变换图片）,这个整数控制了当前图片变换的强度。以下是一些变换的结果示例：

模型的训练我是直接调用sklearn中的svm库，很多参数都使用了默认值，在训练时发现，惩罚因子C的取值对训练的影响很大，我这边就偷个懒，大概设置了一个值。（超参数可以利用之前的验证集去调整，这里就不赘述了。）用到的函数如下：

最后，我在3474张训练集（正样本扩充为原来的2倍，负样本没有扩充）上训练，在C=10的时候（其他参数默认），在验证集上（322张）的准确率为97.2%。也就是说有9张图片分类错误，还是可以接受的。

回顾一下，我们现在已经可以提取候选区域提取并分类了，也就是说，已经可以对一张完整的图片进行检测了。这里给出我的检测代码和检测结果示例。