相对熵

设一个离散分布的概率函数为 ，且设第二个离散分布的概率函数为 。那么， 相对于 的相对熵，也称为库尔巴克-莱布勒距离，定义为

虽然 ，因此相对熵不是一个真正的度量，但它满足许多重要的数学性质。例如，它是 的凸函数，始终非负，并且仅当 时等于零。

相对熵是量子信息论以及统计力学中一个非常重要的概念 (Qian 2000)。