什么是信息增益
信息增益（Kullback–Leibler divergence）又称information divergence，information gain，relative entropy 或者KLIC。
在概率论和信息论中，信息增益是非对称的，用以度量两种概率分布P和Q的差异。信息增益描述了当使用Q进行编码时，再使用P进行编码的差异。通常P代表样本或观察值的分布，也有可能是精确计算的理论分布。Q代表一种理论，模型，描述或者对P的近似。
尽管信息增益通常被直观地作为是一种度量或距离，但事实上信息增益并不是。就比如信息增益不是对称的，从P到Q的信息增益通常不等于从Q到P的信息增益。信息增益是f增益（f-divergences）的一种特殊情况。在1951年由Solomon Kullback 和Richard Leibler首先提出作为两个分布的直接增益（directed divergence）。它与微积分中的增益不同，但可以从Bregman增益（Bregman divergence）推导得到。
什么是信息增益
信息增益（Kullback–Leibler divergence）又称information divergence，information gain，relative entropy 或者KLIC。
信息增益在概率论和信息论中，信息增益是非对称的，用以度量两种概率分布P和Q的差异。信息增益描述了当使用Q进行编码时，再使用P进行编码的差异。通常P代表样本或观察值的分布，也有可能是精确计算的理论分布。Q代表一种理论，模型，描述或者对P的近似。
尽管信息增益通常被直观地作为是一种度量或距离，但事实上信息增益并不是。就比如信息增益不是对称的，从P到Q的信息增益通常不等于从Q到P的信息增益。信息增益是f增益（f-divergences）的一种特殊情况。在1951年由Solomon Kullback 和Richard Leibler首先提出作为两个分布的直接增益（directed divergence）。它与微积分中的增益不同，但可以从Bregman增益（Bregman divergence）推导得到。
信息熵越大说明什么?
说明事件的不确定性越大。熵越高，说明事件的不确定性越大。而信息不确定性越大时，该信息的价值越高。计算公式：H =∑p(x) log (1/p(x))，p(x)是概率。通俗解释：0、单位都是比较出来的，如3kg，是和1kg比较才出来的，所以先定义最基本的不确定性作为标准。1、熵的单位是比特bits，定义最基本的情况是：做两次等概率事件，才会出现一次结果，对于这种级别的不确定性，定义为1bits，即log2。3、则显然概率为1/4，则4/1次（倒数）才会出现一次，熵为log4=2。4、概率为2/5，做5/2次才会出现一次，熵为log5/2。通俗解释：1、代表信息的有用程度，越有用信息熵越大，负数是不可能的，我说句话不影响别人也可以影响我自己啊。2、代表信息的压缩大小，一段话里面有重复的，把重复的去掉就等于压缩，这个压缩的极限就是信息熵。
信息熵、条件熵、信息增益、信息增益率
一、信息熵
1. 信息熵提出背景
我们生活在一个信息爆炸的时代，从信息学的角度来说，人类进步的本质就是不断的打破信息的不对称性。我们讨厌不确定性，我们一生都在试图将所有的不确定性变成我们可能预测可能掌控的东西。
2. 什么是信息熵
在信息学中，对于接收者来说，发送者发送的信息是不确定的，所以对于接收者来说，他会接受到的信息是随机的，这里就引入了熵的概念。统计学中说熵的概念是一个系统可能存在的状态的个数的对数。虽然对于接收者来说，他可能接收的信息的个数是随机的，但是总是在一个范围内，他可能接收的信息的个数的对数就是信息熵。
3. 信息熵的公式
为了计算熵，我们需要计算所有类别所有肯能值所包含的期望值，事物的不确定越大，信息熵越大。
，其中 m 代表将事物分类的概率为k种， 代表了将事物分类为k类型的概率。
4. 信息熵使用场景
cart剪枝，一般有两种，利用基尼系数或信息熵。
5. 信息熵存在的问题
从信息熵的公式我们可以看到，信息越确定，信息熵越小。在生活场景中，像id之类的特征通过信息熵公式计算得到的信息熵很高，但是实际上这个特征对我们判断决策所起的作用很小，比如身份证号、手机号等信息。
二、条件熵
1. 条件熵提出背景
我们知道有的特征携带的熵很多，但是这个特征又真正对我要决策的事情有多大的重要性呢，这时候我们很容易想到条件概率，这时候我们引出了条件熵这个概念。
2. 什么是条件熵
条件熵 表示在已知随机变量X的条件下随机变量Y的不确定性。
3. 条件熵的公式
随机变量X给定的条件下随机变量Y的条件熵公式如下：
其中，
三、信息增益
1.信息增益提出背景
拿我们生活的场景来举个栗子， 比如闺蜜电话约我去逛街，提到我们逛街完了吃火锅，那天刚好下雪，然后我恰巧还来例假了，我这时候有两种决策，去或者不去。这里我们将上面场景中的信息概括下就是，买物品(买衣服？买包包？买鞋子？买花？买居家用品？)、吃饭（吃火锅？吃串串？吃小吃？吃披萨？）、天气（下雨？下雪？晴天？阴天？）；例假（是？否？），聊天，那么这么多特征中，哪些是决定我去或者不去的重要因素呢？如果单从信息熵的角度来看，那么哪个特征的属性越多，它的信息熵越大，重要性越大，事实却不是如此。对我来说，去的理由也许买物品不重要，吃什么也不重要，而我好长时间没有见到她了，想她了是真的，所以“聊天”这个特征决定我会做出赴约这个决策。串起来就是"在聊天这个特征条件下极大的增加了我做出赴约决策的确定性"。
2. 什么是信息增益
信息增益表示得知特征X的信息而使得类Y的信息不确定性减少的程度。
3. 信息增益公式
这里D是决策，A是条件特征
4. 信息增益的使用场景
信息处理中， ID3算法的核心是在决策树各个结点上对应信息增益准则选择特征，递归地构建决策树。
5. 信息增益存在的问题
从信息增益公式我们可以看到，前面唯一id特征信息熵的问题还是没有解决掉。那么有没有什么方法可以平衡id特征信息熵过大的问题，我们很容易想到将特征id自身的信息熵作为分母去平衡整个的计算结果，这时候就有人提出了信息增益率这个概念。
四、信息增益率
1. 信息增益率提出背景
信息增益率，其表示节点的信息与节点分裂信息度量的比值，增益率通常作为属性选择的方法之一
2. 什么是信息增益率
信息增益率，其表示节点的信息与节点分裂信息度量的比值，增益率通常作为属性选择的方法之一
3. 信息增益率公式
上图为盗图，解释的比较清楚，这里就不重复说了。
4. 信息增益率使用场景
C4.5算法就使用了信息增益率作为剪枝条件。
五、参考文献
https://www.cnblogs.com/ironan-liu/p/11769229.html
