主题
Search

最小二乘拟合——多项式


将直线(即一次多项式)推广到 k 次多项式 多项式

 y=a_0+a_1x+...+a_kx^k,
(1)

残差由下式给出

 R^2=sum_(i=1)^n[y_i-(a_0+a_1x_i+...+a_kx_i^k)]^2.
(2)

偏导数(同样省略上标)是

(partial(R^2))/(partiala_0)=-2sum_(i=1)^(n)[y-(a_0+a_1x+...+a_kx^k)]=0
(3)
(partial(R^2))/(partiala_1)=-2sum_(i=1)^(n)[y-(a_0+a_1x+...+a_kx^k)]x=0
(4)
(partial(R^2))/(partiala_k)=-2sum_(i=1)^(n)[y-(a_0+a_1x+...+a_kx^k)]x^k=0.
(5)

这些导出以下方程

a_0n+a_1sum_(i=1)^(n)x_i+...+a_ksum_(i=1)^(n)x_i^k=sum_(i=1)^(n)y_i
(6)
a_0sum_(i=1)^(n)x_i+a_1sum_(i=1)^(n)x_i^2+...+a_ksum_(i=1)^(n)x_i^(k+1)=sum_(i=1)^(n)x_iy_i
(7)
a_0sum_(i=1)^(n)x_i^k+a_1sum_(i=1)^(n)x_i^(k+1)+...+a_ksum_(i=1)^(n)x_i^(2k)=sum_(i=1)^(n)x_i^ky_i
(8)

或者,以矩阵形式表示

 [n sum_(i=1)^(n)x_i ... sum_(i=1)^(n)x_i^k; sum_(i=1)^(n)x_i sum_(i=1)^(n)x_i^2 ... sum_(i=1)^(n)x_i^(k+1); | | ... |; sum_(i=1)^(n)x_i^k sum_(i=1)^(n)x_i^(k+1) ... sum_(i=1)^(n)x_i^(2k)][a_0; a_1; |; a_k]=[sum_(i=1)^(n)y_i; sum_(i=1)^(n)x_iy_i; |; sum_(i=1)^(n)x_i^ky_i].
(9)

这是一个范德蒙矩阵。我们也可以通过以下方式获得最小二乘拟合的矩阵

 [1 x_1 ... x_1^k; 1 x_2 ... x_2^k; | | ... |; 1 x_n ... x_n^k][a_0; a_1; |; a_k]=[y_1; y_2; |; y_n].
(10)

将两边左乘第一个矩阵转置,然后得到

 [1 1 ... 1; x_1 x_2 ... x_n; | | ... |; x_1^k x_2^k ... x_n^k][1 x_1 ... x_1^k; 1 x_2 ... x_2^k; | | ... |; 1 x_n ... x_n^k][a_0; a_1; |; a_k] 
 =[1 1 ... 1; x_1 x_2 ... x_n; | | ... |; x_1^k x_2^k ... x_n^k][y_1; y_2; |; y_n],
(11)

因此

 [n sum_(i=1)^(n)x_i ... sum_(i=1)^(n)x_i^k; sum_(i=1)^(n)x_i sum_(i=1)^(n)x_i^2 ... sum_(i=1)^(n)x_i^(k+1); | | ... |; sum_(i=1)^(n)x_i^k sum_(i=1)^(n)x_i^(k+1) ... sum_(i=1)^(n)x_i^(2k)][a_0; a_1; |; a_k]=[sum_(i=1)^(n)y_i; sum_(i=1)^(n)x_iy_i; |; sum_(i=1)^(n)x_i^ky_i].
(12)

与之前一样,给定 n 个点 (x_i,y_i) 并用多项式系数 a_0, ..., a_k 拟合,得到

 [y_1; y_2; |; y_n]=[1 x_1 x_1^2 ... x_1^k; 1 x_2 x_2^2 ... x_2^k; | | | ... |; 1 x_n x_n^2 ... x_n^k][a_0; a_1; |; a_k],
(13)

矩阵符号中,多项式拟合的方程由下式给出

 y=Xa.
(14)

这可以通过左乘转置 X^(T) 来求解,

 X^(T)y=X^(T)Xa.
(15)

这个矩阵方程可以数值求解,或者如果形式良好,可以直接求逆,以得到解向量

 a=(X^(T)X)^(-1)X^(T)y.
(16)

在上述方程中设置 k=1 可以重现线性解。


另请参阅

最小二乘拟合, 范德蒙矩阵

使用 Wolfram|Alpha 探索

请引用为

Weisstein, Eric W. “最小二乘拟合——多项式。” 来自 MathWorld——Wolfram Web 资源。 https://mathworld.net.cn/LeastSquaresFittingPolynomial.html

学科分类