大规模的物体识别经常会使用均值减法对数据进行预处理。如图所示计算所有训练样本的均值图像时，可使用如下公式： 训练样本和均值文件相减可得到差分图像，然后将其作为样本数据输入网络；

这样各数据的平均值就会变位零，图像整体的亮度变化就能得到抑制。

对于每帧图像来说，均值分为两种：image mean 和 pixel mean。

image mean： 简单的说，读入一张彩色图像，假设是(N * N * 3)，这时候求出image mean的话，也是N* N* 3，相当于把所有训练集在同一个空间位置上的像素的对应通道求了均值，也就是caffe里生成的mean.binaryproto文件

pixel mean： pixel mean是把训练集里面所有图片的所有R通道像素，求了均值，G、B通道类似，也就是不考虑空间位置了。所以求出来就是三个数值（R_mean,G_mean,B_mean），所以其实就是把image mean再求了一次均值。

去均值选择两者区别： 在用DIGITS的时候，遇到了减去均值是用image mean还是pixel mean，并且这个区别会导致最后用训练好的网络模型来测试之前训练的时候用到的验证集却达不到训练时候测试的准确率，(用pixel mean就能获得和训练时候的一样的准确率)，一直很疑惑两者的区别，好好研究了一下发现是这样的。 . 发现去均值是为了对图像进行标准化，可以移除图像的平均亮度值 (intensity)。很多情况下我们对图像的亮度并不感兴趣，而更多地关注其内容，比如在对象识别任务中，图像的整体明亮程度并不会影响图像中存在的是什么物体。这时对每个数据点移除像素的均值是有意义的。而另一个资料显示在每个样本上减去数据的统计平均值可以移除共同的部分，凸显个体差异。其效果如下所示： 可以看到天空的纹理被移除了，凸显了汽车和高楼等主要特征。 . 我们在计算图像均值时，应该只需针对于训练集进行计算，而非使用测试集，验证集和其他以外的数据集进行计算，否则否则就违背了深度学习的原则：模型训练过程仅能从训练模型中获取信息。所以imagenet的均值我们不应该使用。但是只要对比实验中使用同样的方式处理，也是可以的。

详细可参考https://github.com/NVIDIA/DIGITS/issues/1551

特征标准化指的是（独立地）使得数据的每一个维度具有零均值和单位方差。这是归一化中最常见的方法并被广泛地使用（例如，在使用支持向量机（SVM）时，特征标准化常被建议用作预处理的一部分）。在实际应用中，特征标准化的具体做法是：首先计算每一个维度上数据的均值（使用全体数据计算），之后在每一个维度上都减去该均值。下一步便是在数据的每一维度上除以该维度上数据的标准差。

对于自然图像，更多的是做图像零均值化，并不需要估计样本的方差。这是因为在自然图像上进行训练时，对每一个像素单独估计均值和方差意义不大，因为（理论上）图像任一部分的统计性质都应该和其它部分相同，图像的这种特性被称作平稳性（stationarity）。

对于图像，这种归一化可以移除图像的平均亮度值 (intensity)。很多情况下我们对图像的照度并不感兴趣，而更多地关注其内容，比如在对象识别任务中，图像的整体明亮程度并不会影响图像中存在的是什么物体。这时对每个数据点移除像素的均值是有意义的。

了解到基本在deep learning中只要你是使用gradient descent来训练模型的话都要在数据预处理步骤进行数据归一化。当然这也是有一定原因的。

根据公式

如果输入层 x 很大，在反向传播时候传递到输入层的梯度就会变得很大。梯度大，学习率就得非常小，否则会越过最优。在这种情况下，学习率的选择需要参考输入层数值大小，而直接将数据归一化操作，能很方便的选择学习率。而且受 x 和 w 的影响，各个梯度的数量级不相同，因此，它们需要的学习率数量级也就不相同。对 w1 适合的学习率，可能相对于 w2 来说会太小，如果仍使用适合 w1 的学习率，会导致在 w2 方向上走的非常慢，会消耗非常多的时间，而使用适合 w2 的学习率，对 w1 来说又太大，搜索不到适合 w1 的解。

输出：

输出：

代码请访问github：csdn/Image-mean-data/

caffe中则有计算图像均值（image mean）和计算像素均值（pixel mean）工具代码。