参数估计

在已知系统模型结构时,用系统的输入和输出数据计算系统模型参数的过程。18世纪末德国数学家C.F.高斯首先提出参数估计的方法,他用最小二乘法计算天体运行的轨道。20世纪60年代,随着电子计算机的普及,参数估计有了飞速的发展。参数估计有多种方法,有最小二乘法、极大似然法、极大验后法、最小风险法和极小化极大熵法等。在一定条件下,后面三个方法都与极大似然法相同。最基本的方法是最小二乘法和极大似然法。

最小二乘法

为了选出使得模型输出与系统输出yt尽可能接近的参数估计值,可用模型与系统输出的误差的平方和来度量接近程度。使误差平方和最小的参数值即为所求的估计值。

极大似然法

选择参数θ,使已知数据Y在某种意义下最可能出现。某种意义是指似然函数P(Yθ)最大,这里P(Yθ)是数据Y的概率分布函数。与最小二乘法不同的是,极大似然法需要已知这个概率分布函数P(Yθ)。在实践中这是困难的,一般可假设PYθ)是正态分布函数,这时极大似然估计与最小二乘估计相同。

参数估计的性质

当估计值的数学期望等于参数真值时,参数估计就是无偏估计。当估计值是数据的线性函数时,参数估计就是线性估计。当估计值的均方差最小时,参数估计为一致最小均方误差估计。若线性估计又是一致最小均方误差估计,则称为最优线性无偏估计。如果无偏估计值的方差达到克拉默-尧不等式的下界,则称为有效估计值。若(以概率1),则称为一致性估计值。在一定条件下,最小二乘估计是最优线性无偏估计,它的估计值是有效估计,而且是一致性估计。极大似然估计在一定条件下渐近有效,而且是一致的。

寻求最小二乘估计和极大似然估计的常用方法是将准则对参数θ求导数,计算梯度,因而要使用最优化的方法:梯度法、变尺度法、单纯形搜索法、牛顿-拉夫森法等。

递推参数估计

为了减少计算量,便于在线估计参数,产生了许多递推算法。一般是用递推算法估计动态系统的参数。方法是:利用时刻t上的参数估计、存储向量xt与时刻t+1上的输入和输出数据ut+1yt+1,计算新的参数值。每一步的计算时间比解一个线性代数方程组要少得多。

最小二乘法和极大似然法都有递推形式,另外还有递推广义最小二乘法、递推辅助变量法和递推增广最小二乘法等,都是递推最小二乘法的改进形式,可以用来估计带有色噪声干扰的系统。此外,随机逼近算法、卡尔曼滤波法和朗道递推估计,是从不同的出发点得到的递推参数估计法(见递推估计算法),大多数递推参数估计算法的一致性,即(以概率1),可以用鞅收敛性、常微分方程稳定性和超稳定性、正实性分别证明。

参数估计的方法很多,如何统一它们,如何在实践中简单有效地判断它们的性质以及产生新的方法,都是有待进一步探讨的问题。

参考书目
  1. P.艾克霍夫著,潘科炎、张永光等译:《系统辨识──状态与系统参数估计》,科学出版社,北京,1980。(P.Eykhoff,System Identification:Parameter and State Estimation, Wiley, London, 1974.)