不用再往下划，信息熵(Entropy)概念及应用（附视频）都在这里啦！

2024-07-01 17:21| 来源: 网络整理| 查看: 265

在学习浙财石向荣老师的“数据分析在审计中的应用”课程时，内容中涉及“信息熵”相关概念及应用，听完课程后仍旧困惑、一知半解，遂整理此文想法产生。因受限于数学功底，如有谬误还请多指教。您的支持，将是我前行的动力。

1 什么是信息熵 1.1 由来

1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C.E.Shannon（香农）从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。

一条信息的信息量与其不确定性有着直接的关系。比如说我们要搞清一件非常不确定的事，就需要了解大量的信息；反之，如果已对某件事了解较多，则不需要太多的信息就能把它搞清楚。所以，从这个角度，可以认为，信息量就等于不确定性的多少。而通过信息熵这个指标可以将其量化。

1.2 公式定义

H ( X ) = − ∑ x ∈ χ p ( x ) log ⁡ p ( x ) H(X)=-\sum_{x \in \chi} p(x) \log p(x) H(X)=−x∈χ∑p(x)logp(x)

1.3 性质

信息论之父克劳德·香农给出的信息熵的三个性质：

单调性，发生概率越高的事件，其携带的信息量越低；非负性，信息熵可以看作为一种广度量，非负性是一种合理的必然；累加性，即多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和，这也是广度量的一种体现。 1.4 视频

这里推荐一个我喜欢的up主的良心视频，十分推荐。也许看完之后你将不再困惑！

【学习观10】老师，我没有传纸条作弊，我在学习信息论

【学习观11】为什么信息还有单位？如何计算信息量？

2 如何量化 2.1 《数学之美》足球赛例子

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3aU05n9L-1629016116898)(不用再往下划了，这篇文章带你了解信息熵(Entropy)]概念及应用！.assets/image-20210814230646737.png)

2.2 为什么用对数?

下图原文链接：https://zhuanlan.zhihu.com/p/52739409

在这里插入图片描述

截自知乎作者忆臻的回答： https://www.zhihu.com/question/30828247/answer/160647576

在这里插入图片描述

3 应用

信息熵(Information Entropy)是度量信息混乱程度的指标，越混乱值越大，越纯粹越接近于0。决策树的生成过程中，也使用了熵来作为样本最优属性划分的判据。

3.1 审计“参保人员购药骗保”

不法分子倾向于在医保最高限额下，从多家不同的药店和医院购买不同的药物用于贩卖。因此，其购药行为特点是所关联的药店和医院数量多，且金额倾向于平均。

可见，若要有效锁定不法分子，不能仅仅看消费总额，还要看消费方式。信息熵提供了这样一种度量方式，购药金额信息熵高的人存在较高嫌疑。在这里插入图片描述

上图可以看出，4次购买记录，总金额相同情况下，不同的金额配比造成信息熵差异大，令我们从中挑出可能存在异常的数据提供了可能。

3.2 决策树

在决策树算法的学习过程中，信息增益是特征选择的一个重要指标，它定义为一个特征能够为分类系统带来多少信息，带来的信息越多，说明该特征越重要，相应的信息增益也就越大。

P.s

随着内容进一步深入，才觉知自己所识之匮乏。愿不负时光，加油！