主题
Search

中心极限定理

设 X_1,X_2,...,X_N 为一组 N 独立 随机变量，且每个 X_i 具有任意概率分布 P(x_1,...,x_N)，均值为 平均值 mu_i，有限方差为 方差 sigma_i^2。则正态形式变量

X_(norm)=(sum_(i=1)^(N)x_i-sum_(i=1)^(N)mu_i)/(sqrt(sum_(i=1)^(N)sigma_i^2))
(1)

具有一个极限累积分布函数，该函数趋近于 正态分布。

在对 加数 的分布施加额外条件下，概率密度本身也是 正态分布 (Feller 1971)，均值为 平均值 mu=0，方差为 方差 sigma^2=1。 如果不执行正态形式转换，则变量

X=1/Nsum_(i=1)^Nx_i
(2)

是 正态分布 的，均值为 mu_X=mu_x，方差为 sigma_X=sigma_x/sqrt(N)。

Kallenberg (1997) 给出了中心极限定理的六行证明。 对于中心极限定理的一个基本但稍微繁琐的证明，请考虑 P_X(f) 的 逆傅里叶变换。

F_f^(-1)[P_X(f)](x)=int_(-infty)^inftye^(2piifX)P(X)dX
(3)
=int_(-infty)^inftysum_(n=0)^(infty)((2piifX)^n)/(n!)P(X)dX
(4)
=sum_(n=0)^(infty)((2piif)^n)/(n!)int_(-infty)^inftyX^nP(X)dX
(5)
=sum_(n=0)^(infty)((2piif)^n)/(n!)<X^n>.
(6)

现在写出

<X^n>=<N^(-n)(x_1+x_2+...+x_N)^n> =int_(-infty)^inftyN^(-n)(x_1+...+x_N)^nP(x_1)...P(x_N)dx_1...dx_N,
(7)

所以我们有

F_f^(-1)[P_X(f)](x)=sum_(n=0)^(infty)((2piif)^n)/(n!)<X^n>
(8)
=sum_(n=0)^(infty)((2piif)^n)/(n!)int_(-infty)^inftyN^(-n)(x_1+...+x_N)^n×P(x_1)...P(x_N)dx_1...dx_N
(9)
=int_(-infty)^inftysum_(n=0)^(infty)[(2piif(x_1+...+x_N))/N]^n1/(n!)P(x_1)...P(x_N)dx_1...dx_N
(10)
=int_(-infty)^inftye^(2piif(x_1+...+x_N)/N)P(x_1)...P(x_N)dx_1...dx_N
(11)
=[int_(-infty)^inftye^(2piifx_1/N)P(x_1)dx_1]×...×[int_(-infty)^inftye^(2piifx_N/N)P(x_N)dx_N]
(12)
=[int_(-infty)^inftye^(2piifx/N)P(x)dx]^N
(13)
={int_(-infty)^infty[1+((2piif)/N)x+1/2((2piif)/N)^2x^2+...]P(x)dx}^N
(14)
=[1+(2piif)/N<x>-((2pif)^2)/(2N^2)<x^2>+O(N^(-3))]^N
(15)
=exp{Nln[1+(2piif)/N<x>-((2pif)^2)/(2N^2)<x^2>+O(N^(-3))]}.
(16)

现在展开

ln(1+x)=x-1/2x^2+1/3x^3+...,
(17)

所以

F_f^(-1)[P_X(f)](x) approx exp{N[(2piif)/N<x>-((2pif)^2)/(2N^2)<x^2>+1/2((2piif)^2)/(N^2)<x>^2+O(N^(-3))]}
(18)
=exp[2piif<x>-((2pif)^2(<x^2>-<x>^2))/(2N)+O(N^(-2))]
(19)
approx exp[2piifmu_x-((2pif)^2sigma_x^2)/(2N)],
(20)

因为

mu_x=<x>
(21)
sigma_x^2=<x^2>-<x>^2.
(22)

取 傅里叶变换，

P_X=int_(-infty)^inftye^(-2piifx)F^(-1)[P_X(f)]df
(23)
=int_(-infty)^inftye^(2piif(mu_x-x)-(2pif)^2sigma_x^2/2N)df.
(24)

这是 ... 的形式

int_(-infty)^inftye^(iaf-bf^2)df,
(25)

其中 a=2pi(mu_x-x) 和 b=(2pisigma_x)^2/2N。 但这是 高斯函数的傅里叶变换，所以

int_(-infty)^inftye^(iaf-bf^2)df=e^(-a^2/4b)sqrt(pi/b)
(26)

（例如，Abramowitz 和 Stegun 1972，第 302 页，公式 7.4.6）。 因此，

P_X=sqrt(pi/(((2pisigma_x)^2)/(2N)))exp{(-[2pi(mu_x-x)]^2)/(4((2pisigma_x)^2)/(2N))}
(27)
=sqrt((2piN)/(4pi^2sigma_x^2))exp[-(4pi^2(mu_x-x)^22N)/(4·4pi^2sigma_x^2)]
(28)
=(sqrt(N))/(sigma_xsqrt(2pi))e^(-(mu_x-x)^2N/2sigma_x^2).
(29)

但是 sigma_X=sigma_x/sqrt(N) 和 mu_X=mu_x， 所以

P_X=1/(sigma_Xsqrt(2pi))e^(-(mu_X-x)^2/2sigma_X^2).
(30)

“模糊”中心极限定理指出，受许多小的且不相关的随机效应影响的数据近似服从 正态分布。

另请参阅

Berry-Esséen 定理, 傅里叶变换--高斯, Lindeberg 条件, Lindeberg-Feller 中心极限定理, Lyapunov 条件 在 MathWorld 课堂中探索此主题

使用 Wolfram|Alpha 探索

参考文献

Abramowitz, M. and Stegun, I. A. (Eds.). Handbook of Mathematical Functions with Formulas, Graphs, and Mathematical Tables, 9th printing. New York: Dover, 1972.Feller, W. "The Fundamental Limit Theorems in Probability." Bull. Amer. Math. Soc. 51, 800-832, 1945.Feller, W. An Introduction to Probability Theory and Its Applications, Vol. 1, 3rd ed. New York: Wiley, p. 229, 1968.Feller, W. An Introduction to Probability Theory and Its Applications, Vol. 2, 3rd ed. New York: Wiley, 1971.Kallenberg, O. Foundations of Modern Probability. New York: Springer-Verlag, 1997.Lindeberg, J. W. "Eine neue Herleitung des Exponentialgesetzes in der Wahrscheinlichkeitsrechnung." Math. Z. 15, 211-225, 1922.Spiegel, M. R. Theory and Problems of Probability and Statistics. New York: McGraw-Hill, pp. 112-113, 1992.Trotter, H. F. "An Elementary Proof of the Central Limit Theorem." Arch. Math. 10, 226-234, 1959.Zabell, S. L. "Alan Turing and the Central Limit Theorem." Amer. Math. Monthly 102, 483-494, 1995.

在 Wolfram|Alpha 中被引用

中心极限定理

请按如下方式引用

Weisstein, Eric W. "中心极限定理。" 来自 MathWorld--Wolfram Web 资源。 https://mathworld.net.cn/CentralLimitTheorem.html

主题分类