微分熵

微分熵与普通熵或绝对熵的区别在于随机变量不必是离散的。给定一个连续随机变量 ，其概率密度函数为 ，微分熵 定义为

(1)

当我们有一个连续随机向量 ，它由 个随机变量 、 、 ...、 组成时， 的微分熵定义为 重积分

			(2)
			(3)

其中 是 的联合概率密度函数。

因此，例如，具有协方差矩阵 的多元高斯随机变量 的微分熵为

			(4)
			(5)

微分熵的其他性质包括

(6)

其中 是一个常数，并且

(7)

其中 是一个比例因子， 是一个标量随机变量。上述性质可以推广到随机向量 乘以矩阵 的情况：

(8)

其中 是矩阵 的行列式。