信息量用来描述一个随机事件所含有的信息的多少，当一个事件的确定性越高，其信息量越低。
对于单个事件 来说，香农定义这个单个事件的信息量（自信息）
其中 为事件发生的概率。当一个事件的发生概率为 1 时，其信息量为 0，即确定事件没有信息。
而熵就是平均信息量。
基于前面定义的单个事件的信息量，整个随机变量的熵就是其信息量的期望，即
熵 表示对于服从分布 的随机事件平均需要多少信息量来描述一个样本，或者理解成最优编码长度。
但是在实际中，我们很难获取到真实的数据分布 ，假设我们获取到了一个我们“以为”的真实分布 ，所以在计算信息量的时候，我们就会用 来计算，而实际真实的分布是 ，那么实际上真实的平均编码长度就变成了
这就是交叉熵，它表示了当真实世界服从分布 P，但是用分布 Q 去编码的时候，平均需要多少信息量。因此 ，当且仅当 时等号成立。当用真实分布 P 计算平均信息量的时候，得到的一定是最小的（平均信息量就是平均编码长度）。
从平均编码长度来看， ，即当估计的 Q 不等于 P 的时候，平均编码长度会变大，我们称相比最优编码长度“有浪费”，而由于使用错误的分布 Q 额外浪费的那部分编码长度（信息量），就是 KL 散度，即
所以显然，最小化交叉熵，等价于最小化KL散度。