什么是广义最小二乘估计?

[拼音]：guangyi zuixiao ercheng guji

[外文]：generalized least squares estimate

用迭代的松弛算法对线性最小二乘估计的一种改进。线性最小二乘估计在模型误差为相关噪声时是有偏估计，即其估计值存在偏差。这时采用广义最小二乘估计能获得较精确的结果。

假设所讨论的单输入单输出系统的差分方程模型是

式中{u_k}和{y_k}分别是输入和输出序列：

和

是算子多项式,它们的系数是需要通过估计来求出的未知数;z^-1是单位延迟算子；{e_k}是误差序列，它是零均值平稳相关噪声序列。为了进行广义最小二乘估计可以从形式上把e_k变换成


，这里





，它的系数也是未知的。如果{e_k}具有有理谱密度,则可把{ε_k}当作白噪声序列来处理。这样就把系统模型变成

相应的估计准则是

广义最小二乘估计就是使估计准则J为极小的参数估计。多项式A(z^-1)、B(z^-1)和C(z^-1)的系数都是未知的,所以不能用一个线性算法获得广义最小二乘估计。

广义最小二乘估计采用迭代的松弛算法：先行固定C(z^-1)，估计A(z^-1)和B(z^-1),使J 趋于极小；然后固定A(z^-1)和B(z^-1),估计C(z^-1),使 J 趋于极小。如此反复迭代，直至估计值收敛。这时每步只进行简单的线性最小二乘估计运算，迭代的初值取扗(z^-1)=1。

广义最小二乘估计算法的估计精度高，已得到应用并获得不少成果。它的缺点在于：当信噪比较小时,J可能有多个局部极小点，估计结果不能保证收敛到全局最小点，即参数真值；它的计算量也比线性最小二乘估计增加很多。

这种算法也可推广到多输入多输出系统，并且有相应的近似递推估计算法。当误差{e_k}为正态噪声序列时，这种算法还可以解释为极大似然估计的松弛算法。

参考书目

G.G.哥德温、R.L.潘恩著，张永光、袁震东译：《动态系统辨识：试验设计与数据分析》，科学出版社，北京，1983。(G.C.Goodwin and R.L.Payne，Dynamic System Identification：Experiment Design and Data Analysis, Academic Press, New York,1977.)