关于信息熵，参考以下博文内容进行了理解：

https://blog.csdn.net/saltriver/article/details/53056816

https://y1ran.blog.csdn.net/article/details/80559531

https://blog.csdn.net/daoqinglin/article/details/6906413

http://www.360doc.com/content/13/1122/11/10724725_331249748.shtml

 信息熵简单理解就是一种数学期望：信息熵就是平均而言发生一个事件我们得到的信息量大小。所以数学上，信息熵其实是信息量的期望。

利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。一条信息的信息量和它的不确定性有着直接的关系。所发出的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量：

信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。信息熵一般用符号H表示，单位是比特。变量的不确定性越大，熵也就越大。

参考博客

https://blog.csdn.net/marleylee/article/details/78813630

1、一维熵

图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi 表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为：

 其中Pi是某个灰度在该图像中出现的概率，可由灰度直方图获得。

2、二维熵

图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。选择图像的邻域灰度均值作为灰度分布的空间特征量，与图像的像素灰度组成特征二元组，记为( i, j )，其中i 表示像素的灰度值(0