主题
Search

互信息

两个离散随机变量 X 和 Y 之间的互信息定义为

I(X;Y)=sum_(x in X)sum_(y in Y)P(x,y)log_2((P(x,y))/(P(x)P(y)))
(1)

比特。其他性质包括

I(X;Y)=I(Y;X)
(2)
I(X;Y)>=0,
(3)

以及

I(X;Y)=H(X)+H(Y)-H(X,Y),
(4)

其中 H(X) 是随机变量 X 的熵，H(X,Y) 是这些变量的联合熵。

另请参阅

熵

此条目由 Erik G. Miller 贡献

使用 Wolfram|Alpha 探索

参考文献

Cover, T. M. 和 Thomas, J. A. 信息论基础. New York: Wiley, pp. 18-26, 1991.

在 Wolfram|Alpha 中被引用

互信息

请引用为

Miller, Erik G. “互信息。” 来自 MathWorld——Wolfram Web 资源，由 Eric W. Weisstein 创建。 https://mathworld.net.cn/MutualInformation.html

主题分类