主题
Search

最大似然法

最大似然法，也称为最大似然方法，是寻找一个或多个参数值以最大化给定统计量的已知似然分布的程序。最大似然估计对于参数 mu 表示为 mu^^。

对于伯努利分布，

d/(dtheta)[(N; Np)theta^(Np)(1-theta)^(Nq)]=Np(1-theta)-thetaNq=0,
(1)

因此，最大似然发生在 theta=p 时。如果 p 事先未知，则 似然函数 为

f(x_1,...,x_n|p)=P(X_1=x_1,...,X_n=x_n|p)
(2)
=p^(x_1)(1-p)^(1-x_1)...p^(x_n)(1-p)^(1-x_n)
(3)
=p^(sumx_i)(1-p)^(sum(1-x_i))=p^(sumx_i)(1-p)^(n-sumx_i),
(4)

其中 x=0 或 1，且 i=1, ..., n。

lnf=sumx_ilnp+(n-sumx_i)ln(1-p)
(5)
(d(lnf))/(dp)=(sumx_i)/p-(n-sumx_i)/(1-p)=0.
(6)

重新排列得到

sumx_i-psumx_i=np-psumx_i,
(7)

因此

p^^=(sumx_i)/n.
(8)

对于正态分布，

f(x_1,...,x_n|mu,sigma)=product1/(sigmasqrt(2pi))e^(-(x_i-mu)^2/(2sigma^2))
(9)
=((2pi)^(-n/2))/(sigma^n)exp[-(sum(x_i-mu)^2)/(2sigma^2)]
(10)

因此

lnf=-1/2nln(2pi)-nlnsigma-(sum(x_i-mu)^2)/(2sigma^2)
(11)

和

(partial(lnf))/(partialmu)=(sum(x_i-mu))/(sigma^2)=0,
(12)

得到

mu^^=(sumx_i)/n.
(13)

类似地，

(partial(lnf))/(partialsigma)=-n/sigma+(sum(x_i-mu)^2)/(sigma^3)=0
(14)

得到

sigma^^=sqrt((sum(x_i-mu^^)^2)/n).
(15)

请注意，在这种情况下，最大似然标准差是样本标准差，它是总体标准差的有偏估计量。

对于加权正态分布，

f(x_1,...,x_n|mu,sigma)=product1/(sigma_isqrt(2pi))e^(-(x_i-mu)^2/2sigma_i^2)
(16)
lnf=-1/2nln(2pi)-nsumlnsigma_i-sum((x_i-mu)^2)/(2sigma_i^2)
(17)
(partial(lnf))/(partialmu)=sum((x_i-mu))/(sigma_i^2)=sum(x_i)/(sigma_i^2)-musum1/(sigma_i^2)=0
(18)

得到

mu^^=(sum(x_i)/(sigma_i^2))/(sum1/(sigma_i^2)).
(19)

则均值的方差为

sigma_mu^2=sumsigma_i^2((partialmu)/(partialx_i))^2.
(20)

但是

(partialmu)/(partialx_i)=partial/(partialx_i)(sum(x_i/sigma_i^2))/(sum(1/sigma_i^2))=(1/sigma_i^2)/(sum(1/sigma_i^2)),
(21)

因此

sigma_mu^2=sumsigma_i^2((1/sigma_i^2)/(sum(1/sigma_i^2)))^2
(22)
=sum(1/sigma_i^2)/([sum(1/sigma_i^2)]^2)
(23)
=1/(sum(1/sigma_i^2)).
(24)

对于泊松分布，

f(x_1,...,x_n|lambda)=(e^(-lambda)lambda^(x_1))/(x_1!)...(e^(-lambda)lambda^(x_n))/(x_n!)=(e^(-nlambda)lambda^(sumx_i))/(x_1!...x_n!)
(25)
lnf=-nlambda+(lnlambda)sumx_i-ln(productx_i!)
(26)
(d(lnf))/lambda=-n+(sumx_i)/lambda=0
(27)
lambda^^=(sumx_i)/n.
(28)

另请参阅

贝叶斯分析, 似然, 似然函数, 最大似然估计量

使用 Wolfram|Alpha 探索

参考文献

Harris, J. W. 和 Stocker, H. "最大似然法"。§21.10.4 见《数学和计算科学手册》。纽约：Springer-Verlag，第 824 页，1998 年。Hoel, P. G. 《数理统计导论》，第 3 版。纽约：Wiley，第 57 页，1962 年。Press, W. H.; Flannery, B. P.; Teukolsky, S. A.; 和 Vetterling, W. T. "最小二乘法作为最大似然估计量"。§15.1 见《FORTRAN 数值食谱：科学计算的艺术》，第 2 版。英国剑桥：剑桥大学出版社，第 651-655 页，1992 年。

在 Wolfram|Alpha 上引用

最大似然法

请引用为

Weisstein, Eric W. "最大似然法。" 来自 MathWorld--Wolfram Web 资源。 https://mathworld.net.cn/MaximumLikelihood.html

主题分类