协方差

协方差提供了衡量两个或多个随机变量集之间相关性强度的指标。对于两个随机变量 和 ，每个变量的样本大小为 ，协方差由期望值定义

			(1)
			(2)

其中 和 分别是 均值，可以显式地写成

(3)

对于不相关的变量，

(4)

因此，协方差为零。然而，如果变量在某种程度上是相关的，那么它们的协方差将是非零的。事实上，如果 ，那么当 增加时， 趋于增加；如果 ，那么当 增加时， 趋于减小。请注意，虽然统计上独立的变量总是互不相关的，但反之不一定成立。

在 的特殊情况下，

			(5)
			(6)

因此，协方差简化为通常的方差 。这促使我们使用符号 ，这提供了一种一致的方式来表示方差为 ，其中 是标准差。

导出的量

			(7)
			(8)

被称为 统计相关性，用于衡量 和 。

当查看两个随机变量之和的方差时，协方差尤其有用，因为

(9)

根据定义，协方差是对称的，因为

(10)

给定 个随机变量，表示为 , ..., ， 和 的协方差 定义为

			(11)
			(12)

其中 和 分别是 和 的均值。量 的矩阵 称为协方差矩阵。

协方差服从以下恒等式

			(13)
			(14)
			(15)
			(16)

通过归纳，因此得出

			(17)
			(18)
			(19)
			(20)
			(21)