第四章信号参量估计(习题：2,3,4,11,12,15)电子科技大学：何子述、孔令讲4.1 信号参量估计原理与准则（书中1.6节）设信号波形：x(t)=s(t,α)+n(t)0≤t≤T其中：α=[α1,α2,,αm]→是信号的参数向量。 →待估计参量电子科技大学：何子述、孔令讲问题的本质：怎样确定函数g(X)，使α在某种意义下 逼近真实参数α。噪声的存在→X随机→α是随机变量（向量），一般要使α=α很困难，只能无限逼近； ⇒有“在某种意义下”的说法。信号参数：频率、相位、延时、幅度、方向电子科技大学：何子述、孔令讲检测：原信号有多个可能状态，根据样本数据判断是哪一个?估计：根据样本数据，计算信号中的某一个或多个参数。数学上描述：已知N点回波数据 X=[x1,x2,,xN]， 均与未知参数θ有关。目标→由N个数据确定或估计θ？可表示为：θ=g(X),其中：X=[x1,x2,,xN]电子科技大学：何子述、孔令讲问题：设已有x(t)的N个样本x1,x2,,xN如何根据这N个样本值估计出α ？可简单表述为：α=g(X)→为X的函数Xα电子科技大学：何子述、孔令讲1、矩法↔最直观的估计对N个样本点xi，估计其均值和方差？？均值→mx=E⎡⎣X⎤⎦=1N∑Nxii=1N方差→σ2x=Var⎡1⎣X⎤⎦=N∑(xi−mx)2i=1特点：1、矩法仅能估计x(t)的一阶、二阶矩。2、未用参量的先验的统计特性， 一般不是最佳的。电子科技大学：何子述、孔令讲12、贝叶斯（Bayes）准则估计对于Bayes准则，由检测部分可知：必须知道代价因子。对s(t,α)中的α，其估计量为α，引入代价函数c(α,α)≥0书中图1.11给出了几种常见的代价函数→（a）误差绝对值代价函数对于单参量估计时，取代价函数为：c(ααc，)=α−αα−α即：代价随误差绝对值线性增加。αα电子科技大学：何子述、孔令讲设N个样本X和参量α的联合pdf为→p(X,α)定义平均风险：R=∫{X}∫{α}c(α,α)p(X,α)dαdX即→将代价函数对X,α求统计平均。Bayes准则： 选择估计值α，使R→min，记为Rmin,Rmin称“贝叶斯风险”.∴Bayes估计⇔选择α， 使平均风险最小的估计。电子科技大学：何子述、孔令讲下面研究Bayes准则的几个特例：⇒（1）最小均方差估计(MMSE-Minimum Mean Square Error)2在Bayes准则中，令c(α,α)=α−α对一维实参量：c(α,α)=(α−α)2∴⇒R=∫)2{X}∫{α}(α−αp(X,a)dadX=E⎡⎣(α−α)2⎤⎦=E⎡⎣(ε)2⎤⎦∴R=E⎡⎣(α−α)2⎤⎦⇒R→min⇔均方误差→min即:MMSE电子科技大学：何子述、孔令讲（b）误差平方代价函数对于单参量估计时，取代价函数为：c(α，)α=(α−α)2即：代价随误差平方而增加。c(α−α)2αα***对于单参量估计时，一般使代价函数与误差有关！！电子科技大学：何子述、孔令讲∵p(X,α)=p(αX)p(X)∴R=∫⎡{X}⎢⎣∫{α}c(α,α)p(αX)dα⎤⎥⎦p(X)dX定义条件风险：R(αX)=∫{α}c(α,α)p(αX)dα∵c(α,α)≥0，p(αX）>0⇒R(αX)≥0and p(X)>0∴R→min⇔R(αX)→min∴Bayes估计⇔选择α，使平均风险或条件风险最小的估计。电子科技大学：何子述、孔令讲andR→min⇔R(aX)→min∵R(αX)=∫∞(α−α2−∞)p(α/X)dα⇒求极值即可： ∂R(αX)∞∂α=−2∫−∞(α−α)p(α/X)dα令∂R(aX)=0,⇒=∫∞−∞αp(αX)dα∂αα∫∞−∞p(αX)dα电子科技大学：何子述、孔令讲2∵∫∞−∞p(αX)dα=1∴α=∫∞−∞αp(αX)dα=E(α|X)为α的条件均值其中：p(αX)是X给定时，待估参量α的条件分布， 称之为后验pdfE(α|X)是X给定时，待估参量α的均值， 称之为α的条件均值。∴误差平方代价的Bayes估计⇔ 最小均方误差估计⇔ 条件均值估计电子科技大学：何子述、孔令讲∵Bayes估计满足R(aX)→min令∂R(aX)∂α=0,⇒∫α∞−∞p(αX)dα=∫αp(αX)dα⇔P(α<α|X)=P(α>α|X)显然：估计量α为条件分布p(αX)的中位数。电子科技大学：何子述、孔令讲3、最大后验准则（MAP-Maximum A Posteriori Probability）∵Bayes准则需要c(α,α)已知。而实际中c(α,α)不易确定。∴若已知p(αX)，此时可选择使p(αX)最大的α作为α即选择α，使p(αX)→max。α的MAP估计：在给定X的情况下，使p(αX)达到最大值的估计量α。电子科技大学：何子述、孔令讲（2）条件中位数估计定义：若xm使P(x
xm)， 则称xm是p(x)的中位数。即：xm使两边概率相等的分界点。对于Bayes准则，对一维参量取c(α,α)=α-α此时条件风险：R(αX)=∫∞−∞α−αp(aX)dα=∫α−∞(α−α)p(αX)dα+∫∞α(α−α)p(αX)dα电子科技大学：何子述、孔令讲中位数估计：找出使两边概率相等的分界点均值：m∞x=∫−∞xp(x)dx若p(x)是关于某点对称（如高斯分布），则xm=mxp(α|X)P(αVT)VTαmα电子科技大学：何子述、孔令讲数学上可表述为:对α中的α∂p(αX)i，令∂α=0，求极大值,i=1,2,,mi从而可求出αMAP=(α1,α2,,αm)Tp(α|X)ααMAP电子科技大学：何子述、孔令讲34、最大似然准则(ML−Maximum Likelihood)p(α,X)=p(αX)p(X)=p(Xα)p(α)∵使p(αX)最大的α与p(X)无关，且设p(α)为平坦函数，选择α使p(αX)→max⇔使似然函数p(Xα)→maxα的ML估计：在给定X的情况下，使似然函数p(Xα)→max的估计量α。电子科技大学：何子述、孔令讲关于估计的准则:(1)Bayes准则→要求知道代价函数例如→MMSE,中位数估计等.(2)MAP准则→要求后验概率分布已知。选择使后验概率分布最大的α作为αMAP(3)ML准则→要求似然函数p(X|α)已知。选择使p(X|α)最大的α作为αML电子科技大学：何子述、孔令讲解：（1）用ML估计，令估计量为（α,σx）X的N维联合分布,其似然函数： p(Xα,σ(1N⎡N(xi−x)=2πσ)exp⎢−∑α)2⎤2⎥x⎣i=12σx⎦∴lnp(Xα,σ1Nx)=−2σ2∑(x2i−α)−Nlnσx+cxi=1ML⇔∂∂a⎡1⎣lnp(Xα,σx)⎤⎦=σ2∑N(xi−a)=0xi=1显然此时得到的a,→即为α∑N∴α=1Nx（与矩法结果相同i）i=1电子科技大学：何子述、孔令讲数学上可表述为:对α中的α∂p(X|α)∂lnp(X|αi，令∂α=0，or,let)=0i∂αi求极大值即可,i=1,2,,m从而可求出αML=(α1,α2,,αm)Tp(X|α)ααML电子科技大学：何子述、孔令讲例：设有随机过程x=α+n，n是均值为0，方差为σ2W的高斯白噪声，现有N个观测样本X=[xT1,x2,,xN]（1）若xi为正态分布且相互， 试用ML估计x的均值和方差。（2）若已知α是均值为μ，方差为β2的高斯分布， 用MAP估计α（3）与（2）条件相同，用MMSE估计α电子科技大学：何子述、孔令讲估计方差：∂∂σ⎡x⎣lnp(Xα,σx)⎤⎦＝0∴σ21N)2x=N∑(xi−α,与矩法相同i=1⇒结论： 正态分布的矩法估计与ML估计相同。电子科技大学：何子述、孔令讲4（2）MAP估计⇔使p(αX)最大∵p(αX)=p(Xα)p(α)/p(X)2p(α)=1⎡(α−μ2πβexp⎢)⎤⎣−2β2⎥⎦p(X)与a无关，不用求。∴p(αX)=1p(X)2πσ)N()exp⎡N⎢−∑(xi−α)2(α−μ)2(11⎤2−⎥W2πβ⎣i=12σW2β2⎦∴lnp(αX)=−12σ2∑N(x2i−α)−1Wi=12β2(α−μ)2+c−lnp(X)电子科技大学：何子述、孔令讲（3）MMSE估计⇔等效于求E[a|X]→α=∫∞−∞αp(αX)da∵p(αX)=p(Xα)p(α)/p(X)在(2)已经求出p(Xα)p(α)⇒求p(X)即可。∴p(X)为p(X,α)的边缘分布∴p(X)=∫∞p(X,α)dα=∫∞−∞−∞p(Xα)p(α)da电子科技大学：何子述、孔令讲(1)ML估计： 似然函数p(Xα)对α求偏导，⇒αML(2)MAP: p(αX)=p(Xα)p(α)/p(X)∂∂∂αp(αX)=∂α⎡⎣p(Xα).p(α)⎤⎦=0⇒αMAP电子科技大学：何子述、孔令讲∴∂∂α⎡⎣lnp(αX)⎤⎦=1Nσ2∑(xi−α)−12(α−μ)=0Wi=1β⇒=1Nασ2β2(β2∑xi+σ2Wμ)W+Ni=1=1221Nσ22N(βNmX+σWμ)mX=N∑xiW+βi=1观察p(α)的分布中，β→∞时: limβ→∞a=mx⇔ML估计。电子科技大学：何子述、孔令讲∴p(αX)=1⎡(α−m2α)⎤2πγexp⎢⎣−2γ2⎥⎦σ22方差:γ2=Wβ2(βNmX+σ2Wμ)β2N+σ2,均值：mα＝2Wβ2N+σWMMSE估计: α=∫∞ap(αX)da=γ2(N−∞σmx+μ2Wβ2)=mX结论：MMSE与MAP估计相同（高斯分布）电子科技大学：何子述、孔令讲(3)Bayes下的MMSE:α=∫∞−∞α.p(αX)da应求出p(αX)的表达式：p(αX)=p(Xα)p(α)/p(X)p(X)→边缘分布求出p(X)=∫∞−∞p(Xα)p(α)da电子科技大学：何子述、孔令讲.2信号参量估计的性质（估计量的性能评价）随机信号样本X不同⇒利用样本所得估计值不同⇒信号参量的估计量是一随机变量。⇒可用均值、方差等数字特征描述，用于评价估计方法的估计性能。即：估计量α=g(X)，怎样评估估计的性能？电子科技大学：何子述、孔令讲若α是α的一个有偏估计量，且Bia⎡⎢⎣α⎤⎥⎦=E⎡⎢⎣α⎤⎥⎦−α则称Bia⎡⎢⎣α⎤⎥⎦为估计的偏差。电子科技大学：何子述、孔令讲⇒估计的一致性与极限有关→样本数很大才适用。B、均方一致性2NlimE{α→∞N−α}=0⇔均方误差N→→∞0称之为均方一致性电子科技大学：何子述、孔令讲1、无偏性（无偏估计）如果E⎡⎢⎣α⎤⎦⎥＝E⎡⎣α⎤⎦，是随机参量α或E⎡⎢⎣α⎤⎦⎥=α,α是常量。→称为无偏估计，否则称为有偏估计。若估计次数为N, limE⎡α⎤=E⎡N→∞⎢⎣⎥⎦⎣α⎤⎦→渐进无偏估计。电子科技大学：何子述、孔令讲2、一致估计定义：当样本数N→∞时，估计量α的估计值 趋向于参量的真值α→ 则称α是参量α的一致估计数学定义：A、若α是一致估计，则对∀小正数ε，必有：NlimP{α→∞N−α>ε}=0(对∀ε>0)⇒α依概率收敛于α电子科技大学：何子述、孔令讲3、充分估计未知参量的估计量α=g(X)是否充分地用尽了X中 包含的待估参量α的信息.判别准则：p(Xα)=p(αα).f(X)成立， 则为充分估计。物理意义：估计量α已经包含了在观测数据X中 与待估量α有关的全部信息。电子科技大学：何子述、孔令讲、优效估计（有效性）对于无偏估计，具有最小方差的估计量， 称之为优效估计。若α1,α2是两个对α的无偏估计，方差分别为Var(α1),Var(α2)显然：方差小，估计优!!但估计量的方差能小到什么程度？是否存在最小方差呢？电子科技大学：何子述、孔令讲5、克拉美－罗下届(CRLB)即证明：估计量的方差满足Var(α)≥CRLB(1)CRLB的证明定理：α是未知的确定参量，若观测样本为X，p(Xα)是X的条件pdf,α是无偏的，且∂p(Xα)∂a存在，则下式必成立⇒Var(α)≥1E⎧⎪⎡∂lnp(Xa)⎤2⎫(4.19)⎨⎪⎢⎥⎪⎩⎣∂α⎦⎬⎪⎭或Var(α)≥−1⎧∂2(4.20)E⎨lnp(Xα)⎫⎩∂α2⎬⎭电子科技大学：何子述、孔令讲对无偏估计α:E⎡∞⎣α⎤⎦=∫-∞αp(Xα)dX=α∴∂E⎡⎣α⎤⎦∂α=∫∞-∞α∂∂α⎡⎣lnp(Xα)⎤⎦p(Xα)dX=1(4.13)↔(4.13)减去(4.11)×α⇒∫∞-∞(α−α)∂∂α⎡⎣lnp(Xα)⎤⎦p(Xα)dX=1(4.15)∫∞⎡d-∞⎢⎣dαlnp(Xα)⎤⎥⎦p(Xα)dX=0(4−11)电子科技大学：何子述、孔令讲可以证明：在一定的条件下，任何估计量都存在一个方差的下限，估计量的方差只能大于等于此下限，此下限称之为克拉美－罗限即：Var(α)≥CRLB（克拉美－罗下届） Cramer-Rao Low Band显然：对于无偏估计， 当Var(α)=CRLB时，即为优效估计。电子科技大学：何子述、孔令讲证明：对任意函数f(y)df(y)dy=⎡⎢d⎣dylnf(y)⎤⎥⎦f(y)且∫∞-∞p(Xα)dX=1∴∂∫∞-∞p(Xα)dX=∫∞⎡d∂α-∞⎢⎣dαlnp(Xα)⎤⎥⎦p(Xα)dX=E⎡⎢d⎣dαlnp(Xα)⎤⎥⎦=0(4.11)电子科技大学：何子述、孔令讲由于瓦兹不等式(Sohwarts)⎡∞2⎢⎣∫-∞g(y)h(y)dy⎤⎥⎦≤∫∞-∞g2(y)dy∫∞-∞h2(y)dy(4.16)由(4.15)21=⎡∞⎢∂11⎡lnp(Xα)⎤p2(Xα)p2(Xα)dX⎤⎣∫-∞(α−α)∂α⎣⎦⎥⎦≤∫∞2-∞(α−α)2p(Xα)dX×∫∞⎡∂-∞⎢⎣∂αlnp(Xα)⎤⎥⎦p(Xα)dX(4.18)电子科技大学：何子述、孔令讲721≤∫∞-∞(α−α)2p(Xα)dX×∫∞⎡∂-∞⎢⎣∂αlnp(Xα)⎤⎥⎦p(Xα)dX∵α为无偏估计，⇒Var(α)=E⎡⎣(α−E(α))2⎤⎦⇒Var(α)=E⎡⎣(α−a)2⎤⎦=∫∞-∞(α−α)2p(Xα)dX∴⇒Var(α)≥12∫∞⎡∂⎤-∞⎣⎢∂αlnp(Xα)⎦⎥p(Xα)dX电子科技大学：何子述、孔令讲再求二阶偏导数：∫∞∂2-∞∂α2⎡⎣lnp(Xα)⎤⎦p(Xα)dX2+∫∞⎧-∞⎨∂⎩∂α⎡⎣lnp(Xα)⎤⎦⎫⎬⎭p(Xα)dX=0代入(4.19)⇒E⎧⎪2⎨⎡∂lnp(Xα)⎤⎫⎪E⎡∂2lnp(Xα)⎤⎪⎢⎩⎣∂α⎥⎦⎬=−⎪⎢⎭⎣∂α2⎥⎦∴Var(α)≥−1E⎡⎢∂2⎤(4.20)⎣∂α2lnp(Xα)⎥⎦电子科技大学：何子述、孔令讲1k.(α−α)p2(Xα)=∂1lnp(h(y)∂Xαα).p2(Xα)g(y)⇔∂∂αlnp(Xα)=k(α−α)此式可作为优效估计的判别式。电子科技大学：何子述、孔令讲⇒∴CRLB→Var(α)≥1(4.19)E⎧⎪⎨⎡∂lnp(Xα)⎤2⎫⎪⎪⎢⎩⎣∂α⎥⎦⎬⎪⎭(4.20)式证明：∵∫∞-∞p(Xα)dX=1∴∂∞∂α∫-∞p(Xα)dX=∫∞∂-∞∂α⎡⎣lnp(Xα)⎤⎦p(Xα)dX=0电子科技大学：何子述、孔令讲(2)优效估计的判别方法在许瓦兹不等式(4.16)中，等号成立条件为 g(y),h(y)线性相关，⇔g(y)=k.h(y)k是常数在(4.18)中，要等号成立,则必有:⎧⎪Var(α)=CRLB⎪1⎪h(y)=(2⎨α−α)p(Xα)⎪∂1⎪g(y)=lnp(Xα).p2(Xα)⎪∂α⎩且g(y)=k.h(y)电子科技大学：何子述、孔令讲∴α为未知参量时，优效估计判别方法：∂∂αlnp(Xα)=k.(α−α)(4.22)常数k=k(α)与X,α无关， 只可以是α的函数(4.22)式成立时， α为优效估计， 常用于判别估计是否为优效估计。即：似然函数对α的微分是(α−α)的线性函数时， 此估计为优效估计。电子科技大学：何子述、孔令讲8(3)确定量α的ML估计是优效估计对ML估计:令∂∂αlnp(Xα)=0求解得到αML由(4.22)式，若α是优效估计，应有:∂∂αlnp(Xα)=k.(α−α)若令上式中α=αML，则左边应为0，故0=k.(α−α)∴α=αML时是优效估计。故αML是优效估计.电子科技大学：何子述、孔令讲对MAP估计，可用类似的方法证明得到其CRLB下界Var(α)=E⎡⎣(α−E(a))2⎤⎦≥1−1E⎧⎪⎨⎡∂2=⎪2E⎡∂lnp(⎪⎩⎢⎣∂αlnp(X,α)⎤⎫⎥⎦⎬X,α)⎤⎪⎭⎢⎣∂α2⎥⎦(4.26)电子科技大学：何子述、孔令讲由4.32式可知:若随机a的估计量的方差达到了CLRB,则：1、估计量a必须满足（4.32）or(4.33);2、若某一估计量满足（4.32） or(4.33)则必定是优效估计量。3、由于MAP估计量aMAP满足∂∂αlnp(α|X)=0=k.(α−α)⇒满足(4.33)所以aMAP必定是优效估计量。电子科技大学：何子述、孔令讲(4) 随机参量α的MAP估计是优效估计(即待估量a是随机变量时的CRLB)∵MAP估计中:选择α，使p(αX)→max,且p(αX)=p(α,X)/p(X)∴等效于使p(α,X)→max对MAP估计，可用类似的方法证明得到其CRLB下界⇒电子科技大学：何子述、孔令讲如果α是优效估计，应有∂∂αlnp(X,α)=k.(α−α)(4.32)⇔∂∂αlnp(α|X)=k.(α−α)(4.33)其中：k与X;α;α均无关。电子科技大学：何子述、孔令讲举例：例1:设xi=a+ni,i=1...N，有N个观测值。n2i是零均值，方差为σW的WGN,a是确定未知量。试证明：样本均值估计量a=1NN∑xi是优效估计。i=1电子科技大学：何子述、孔令讲9解：优效估计的前提要求无偏：（1）证明其为无偏估计NE{a}=E⎧⎨1⎫1⎩N∑xi⎬=i=1⎭N∑NE[a+ni]=ai=1∴⇒a是无偏的。电子科技大学：何子述、孔令讲例2:设xi=a+ni,i=1...N，有N个观测值。其中：n2i是零均值，方差为σW的WGN,a是待估计的随机参量，设a服从高斯分布，均值为μ，方差为β2。试求：(1)a可能达到的最小均方误差。（2）求a的优效估计量。电子科技大学：何子述、孔令讲Np(X|α)=⎛2N⎜1⎞1x⎝2πσ2⎟exp(−W⎠2σ2∑(i−a)2)Wi=11p(α)=⎛2⎜1⎞⎝2πβ2⎟⎠exp(−12β2(a−μ)2)⇒lnp(X,α)=C−1N2σ2∑(x1i−a)2−2(a−μ)2Wi=12β电子科技大学：何子述、孔令讲(2)优效估计⇔∂∂αlnp(Xα)=k(α−α)NNp(Xα)=⎛⎜1⎞22⎟exp(−12σ(x−a)2⎝2πσ2i)W⎠W∑i=1N取对数⇒lnp(Xα)=ln⎛⎜1⎞21⎝2πσ2⎟−W⎠2σ2W∑N(x2i−a)i=1∂∂α(Xα)=1N对a求导⇒lnpσ2∑(xi−a)Wi=1N=N⎛1⎞Nσ2⎜(α2−α)W⎝N∑xi−ai=1⎟⎠=σW∴⇒α是优效估计量。电子科技大学：何子述、孔令讲解：对随机变量的估计有Var(α)≥1E⎧=−1⎪⎨⎡∂22⎪lnp(X,α)⎤⎫⎩⎢⎣∂α⎥⎪⎡∂⎤⎦⎬E⎭⎪⎢⎣∂α2lnp(X,α)⎥⎦⇒Var(α)=−1E⎡⎢∂2⎤⎣∂α2lnp(X,α)⎥⎦⇒只需求：p(X,α)即可.∵p(X,α)=p(X|α)p(α)⇒lnp(X,α)=lnp(X|α)+lnp(α)电子科技大学：何子述、孔令讲求导⇒∂lnp(X,α)N1∂a=1σ2∑(xi−a)−2(a−μ)Wi=1β2再次求导⇒∂lnp(X,α)∂a2=−N1σ2−2Wβ∴⇒E⎡⎢∂2lnp(X,α)⎤⎣∂a2⎥=−N1⎦σ2−2Wβ∴E⎡⎢∂2lnp(X,α)⎤⎛N1⎞⎣∂a2⎥=−⎦⎜⎝σ2+Wβ2⎟⎠⇒Var(a)≥⎛⎜σ2Wβ2⎞⎝Nβ2+σ2⎟W⎠电子科技大学：何子述、孔令讲10（2）若a满足∂∂lnp(X,α)=k.(αα−α)或∂∂αlnp(α|X)=k.(α−α)则a为优效估计量。由于aMAP满足∂∂αlnp(α|X)=0因此满足上式，⇒只需求aMAP即可。⇔求解满足∂∂αlnp(α|X)=0的a。∵p(α|X)p(X)=p(X|α)p(α)∴⇒p(α|X)=p(X|α)p(α)p(X)显然p(X)与a无关。电子科技大学：何子述、孔令讲4.3信号单参量估计1、高斯白噪声条件下信号参量估计的一般式设接收信号为:x(t)=s(t,α)+n(t)0≤t≤Tn(t)零均值，谱密度为N02的高斯白噪声;其中:α为随机或非随机未知待估参量.A.若α为非随机,或p(α)(先验概率)未知时,可用ML估计.由(2.53)式，x(t)的似然函数:p(xα)=F.exp⎧⎨1T⎩−N)−s(t,α)]2dt⎫⎬0∫0[x(t⎭电子科技大学：何子述、孔令讲估计的CRLB⇒再次对α求导⇒∂22∴lnp(xα)2∂α2=−N0∫T⎡⎢∂⎤0⎣∂αs(t,α)⎥⎦dt+2N[20∫T∂s(t,α)0x(t)−s(t,α)]dtn(t)∂α2对上式两边关于x求数学期望⇒E⎡⎢∂2⎣∂α(xα)⎤2⎥⎦=−22lnpN0∫T⎡⎢∂⎤0⎣∂αs(t,α)⎥⎦dt电子科技大学：何子述、孔令讲∴⇔a∂MAP满足∂αlnp(X|α)+∂∂αlnp(α)=0N∵p(X|α)=⎛⎜1⎞2⎝2πσ2⎟xp(−1W⎠e2σ2∑N(xi−a)2)Wi=11p(α)=⎛⎜1⎞2⎟1⎝2πβ2⎠exp(−2β2(a−μ)2)N∴1σ2∑(xi−a)−1Wi=1β2(a−μ)=0此时所求出的a即为aMAP⇒2μN+β2∑xiaMAP=σWi=1=μσ2W+β2Nmx221+NβσW+Nβ2σ2W电子科技大学：何子述、孔令讲∴lnp(xα)=lnF−1N0∫T0[x(t)−s(t,α)]2dt对α求导⇒∂lnp(xα)Tα)]∂s(t,α)∂a=2Ndt0∫0[x(t)−s(t,∂a∵α满足方程∂lnp(xα)ML∂a=0∴⇔α满足方程T[x(t)−s(t,α)]∂s(t,α)ML∫0∂adt=0αML即为此方程的解.电子科技大学：何子述、孔令讲2∵E⎡⎢∂2⎤2T⎡∂⎤⎣∂α2lnp(xα)⎥⎦=−N∂αs(t,α)⎦dt0∫0⎢⎣⎥∴Var(α)≥−1E⎡⎢∂2⎤⎣∂α2lnp(xα)⎥⎦=12T⎡∂2(4.50)N⎢⎣s(t,α)⎤0∫0∂α⎥⎦dtCRLB电子科技大学：何子述、孔令讲11B、若α为随机,且p(α)已知时,可用MAP估计显然：aMAP满足∂∂αlnp(α｜x)=0⇔∂∂αlnp(x|α)+∂∂αlnp(α)=0将p(x|α)代入⇒2TN0∫0[x(t)−s(t,α)]∂s(t,α)∂adt+∂∂αlnp(α)=0当α=aMAP，上式成立．当p(α)比较均匀、平坦时，⇒∂∂αlnp(α)=0此时⇒aMAP=aML(实际中常满足)电子科技大学：何子述、孔令讲幅度ML估计的CRLB：∫T⎡∂20⎢⎣∂αs(t,α)⎤T⎥⎦dt＝∫0s2(t)dt=E∵Var(α)≥12T⎡∂2Ns(t,⎤0∫0⎢⎣∂αα)⎥⎦dtCRLB∴⇒CRLB=1N12=02E=SNR（越小越好）NE0电子科技大学：何子述、孔令讲证明：∵A1TE0)s(t)dt=1E∫T0As(t)s(t)dt+1TML=∫x(tE∫0n(t)s(t)dt=A+1E∫T0n(t)s(t)dt ∴Var⎡⎣AML⎤⎦=E⎡⎣(AML−A)2⎤⎡1T⎤⎦=E⎢⎣(E∫0n(t)s(t)dt)2⎥⎦=1E∫T0∫T20E{n(τ)n(t)}s(τ)s(t)dτdt=1NENE2×02=02E=CRLB电子科技大学：何子述、孔令讲2、信号幅度的ML估计x(t)=s(t,α)+n(t)且s(t,α)＝As(t)A为待估计参数；s(t)确知。＊＊相当于幅度调制，估计A相当于解调。∵∂s(t,α)∂α=∂As(t)∂A=s(t)且α∫TML满足方程0[x(t)−s(t,α)]∂s(t,α)∂adt=0代入即得A的ML估计：∫T⎡0⎣x(t)-AMLs(t)⎤⎦.s(t)dt=0∴AML=∫T0x(t)s(t)dt=1T(t)dt∫T0s2(t)dtE∫0x(t)s电子科技大学：何子述、孔令讲幅度估计的性能：∵E⎡⎣A1TML⎤⎦=E.E⎡⎢⎣∫0x(t)s(t)dt⎤⎥⎦=1⎧E⎨⎩∫T0As2(t)dt+E⎡T⎫⎢⎣∫0n(t)s(t)dt⎤⎥⎦⎬⎭∴E⎡⎣AML⎤⎦=A⇒无偏估计估计的方差: Var⎡⎣A⎦=E⎡⎣(A)2⎤NML⎤ML−A⎦=02E=CRLB∴⇒幅度的ML估计是优效估计电子科技大学：何子述、孔令讲&&$$**→若已知幅度A的先验分布是高斯的，方差为σ2A，均值为０。⇒可作MAP估计1A)=⎛⎜1⎞2A2则⇒p(⎝2πσ2⎟exp(−A⎠2σ2)A⇒lnp(A)=C−A22σ2A代入MAP估计式⇒2∫T⎡⎣x(t)−AAMAPNMAPs(t)⎤00⎦s(t)dt−σ2=0A2σ2⇒ATMAP=A2Eσ2A+N0∫0[x(t)s(t)]dt与ML估计量仅仅相差一个系数。可以证明：Var(AMAP)>2πω时，∫T0sin(2ω0t+2θML)dt很小，可忽略0∴⇒∫Tx(t)cos(ω0t+θ0ML)dt=0⇔∫T0x(t)cosω0t.cosθ∫TMLdt−0x(t)sinω0tsinθMLdt=0⎡T⇒θML=tg−1⎢∫0x(t)cosω0tdt⎤⎢T⎥⎢⎣∫)sinω⎥0x(t0tdt⎥⎦可以证明：θML是无偏估计，即E⎡⎣θML⎤⎦=θθNML是优效估计，Var⎡⎣θML⎤⎦=CRLB=02E=10SNR电子科技大学：何子述、孔令讲4、信号时延的ML估计x(t)=s(t,α)+n(t) (-T2≤t≤T2) s(t,α)=s(t−τ) τ≤T2∵αML满足方程∫T0[x(t)−s(t,α)]∂s(t,α)∂adt=0T∴⇒ ∫2-T⎡x(t)−s(t−τ)⎤∂s(t−τML)dt=02⎣⎦∂τML电子科技大学：何子述、孔令讲且∵∂∂τs(t−τ)=−∂∂ts(t−τ)T∴τML满足方程：∫2-Tx(t)∂2∂ts(t−τ)dt=0τ=τML(4.78)若τML为优效估计，则有：∞2CRLB=N02E•１W2W2∫-∞ωs(ω)2dωs=s∫∞2-∞s(ω)dωWs→均方根带宽。电子科技大学：何子述、孔令讲13∵CRLB=12E•１1１W2=•2sSNRWsN0∴⇒1→SNR，τML的CRLB2→Ws,τML的CRLB∴⇒提高测时延（测距）精度途径：SNR，或Wseg：雷达测距时，信号脉冲越窄，分辨率电子科技大学：何子述、孔令讲当估计是优效估计时，可以证明：σ2ϖ=Var(ϖ)≥N02E•１t2d⇔频率估计的CLRB=N0１1１2E•t2=dSNR•t2d2其中：t2d=∫t2a(t)2dt−⎡⎢⎣∫ta(t)2dt⎤⎥⎦td→信号的均方根时宽。∴⇒1→SNR，fML的CRLB，越好。2→td,fML的CRLB。⇒提高测频（测速）精度可增加SNR或增加时宽。电子科技大学：何子述、孔令讲*************@@@@@@%%%%%%%%&&&&&&&&&&&&特列：在雷达中常常同时测目标的速度和距离，等效于从回波中同时估计f和τ。对于f和τ得联合优效估计，可得到二者的CRLB:σ2t2dτ≥CLRBτ=2EN⎡0⎣W2st2d−(ϖt)2av⎤⎦σ2W2sϖ≥CLRBϖ=2EN⎡W2st2d−(ϖt)av0⎣2⎤⎦其中：Ws，td定义同前。(ϖt)av→平均频率时间乘积。电子科技大学：何子述、孔令讲5、信号频率估计s(t,a)=Asin(ϖt+θ)，其中ϖ待估。在信号检测中，随机频率和随机相位信号的检测部分已经讨论如何检测。且在检测的同时可实现对频率的估计。＊＊＊＊此处忽略！！！！！！！！电子科技大学：何子述、孔令讲4.4 多个信号参量的同时估计对同一个信号，若待估参量有多个⇒⇒多参量联合估计问题。x(t)=s(t,a)+n(t),a=[aT1,a2,am]推导方法同单参量估计。⇒利用p(x|a)可以得到a的ML估计是下列方程组得解：∫T∂s(t,α)0⎡⎣x(t)−s(t,α)⎤⎦∂adt=0i*估计性能的评价：（1）无偏性（2）优效性（3）联合优效估计电子科技大学：何子述、孔令讲若f和τ的估计互不相关时⇒(ϖt)av=0∴⇒σ2τ≥1W2SNR，σ2ϖ≥1st2dSNR∴⇒σ221τσϖ≥W2st2dSNR⇔σ1τσϖ≥WstdSNR电子科技大学：何子述、孔令讲14⇔στσϖ≥1WstdSNR显然当对f和τ同时估计且SNR一定时，二者估计的标准差乘积有一个下限。因素：均方根时间带宽积。（常简称时带积）当SNR一定时，降低下限的唯一途径：Wstd但是实际中，Ws⇔td或td⇔Ws∴同时提高测量精度二者是一对矛盾，在信号参量估计中，称之为测不准原理。电子科技大学：何子述、孔令讲相对应：（1）不利用X，α的统计特性（2）用X的线性函数估计信号的未知参量。称之为线性估计。显然：1、未利用统计信息，估计性能下降。2、线性约束条件使估计性能更差，但实现容易。但在具体应用中已能满足实际需求→应用广泛。目前主要有两大类：线性最小均方误差估计最小二乘估计电子科技大学：何子述、孔令讲*************************************Var(α)=E[α−E(α)2]≠均方wu差=E[α−a)2]若是无偏估计，即E(α)=α时，方差=均方误差若已知联合分布p(X,α)则E[(α−α)2]==∫(αX∫{α}−α)2p(X,α)dαdX可用Bayes、MAP、ML等进行非线性估计。统计特性未知时，只能用噪声的一、二阶矩等来作出线性估计。电子科技大学：何子述、孔令讲4.5 最佳线性估计估计：设信号波形：x(t)=s(t,α)+n(t)0≤t≤T且已有x(t)的N个样本[xT1,x2,,xN]。未知参量。α估计：构造g(•)，=αg(X)在某种准则下逼近α。前面所讲：Bayes估计，MAP估计，ML估计；特点： 1、利用X，α的统计特性。2、g(•)↔似然函数，⇒g(•)非线性。因此，常称之为非线性估计或基于参量统计特性的估计。缺点：非线性处理实现困难，耗资源，若非白噪背景更难。电子科技大学：何子述、孔令讲1、最小均方误差估计(MMSE)Minimum Mean Square Error设接收信号有N个观测样本，X=[xT1,x2,,xN]用X估计参数α， α=g(x)重点讨论单参量情况估计误差：ε=α−α估计的均方误差： E⎡2⎢⎣α−α⎤⎥⎦=E⎡⎣(α−α)2⎤⎦,α是实的选择估计函数g(X)，使E⎡⎢⎣α−α2⎤⎥⎦→min称为MMSE电子科技大学：何子述、孔令讲2、线性最小均方误差估计：(1)线性估计设有N个观测样本X=[xT1,x2,...,xN]αN是xi的线性函数；α=g(X)=∑hixi+bi=1称为对α的线性估计；共有N+1个参数h1,h2,...,hN,b电子科技大学：何子述、孔令讲15(2)线性MMSE（LMMSE）均方差：NE[(α−α)2]=E[(∑hixi+b−α)2]i=1选择N+1个参数h1,h2,...,hN,使E[(α−α)2]→min即：线性MMSE若X已知时⇒E[(α−α)2]是h1,h2,...,hN,b的函数电子科技大学：何子述、孔令讲let:∂E[(α−α)2]N∂b=E[2(∑hixi+b−α)]=0i=1⇒b=E[α]−∑NhiE[xi](4−1)i=1⎧N⎪⎪E[αxk]−∑hiE[xkxi]−bE[xk]=0，k=1,2...N⎨i=1⎪N⎪⎩b=E[α]−∑hiE[xi]i=1⇒由N+1个方程可解出N+1个未知数；即：h1,h2,...,hN,b电子科技大学：何子述、孔令讲（4）正交原理A.E[εxi]=0,(i=1,2...N)称之为误差与观测值正交。NB.E[εα]=E[ε(∑hixi+b)]i=1=∑NhiE[εxi]+E[εb]i=1=E[εb]=bE[a−α]=b[E(a)−E(α)]=0∴⇒E[εα]=0→ε与α正交称之为误差与估计量正交。电子科技大学：何子述、孔令讲求极值：∂E[(α−α)2]N∂h=E[2(∑hixi+b−α)xk]=0ki=1N令ε=α−α=α−∑hixi−bi=1∴⇒E[εxk]=0(k=1,2,N)N⇔E[αxk]−∑hiE[xkxi]−bE[xk]=0i=1(4−155)电子科技大学：何子述、孔令讲（3）LMMSE估计的性能N∵b=E[α]−∑hiE[xi]i=1N∴E[α]=E[∑hixi+b]i=1=E⎡N⎢⎣∑h⎧ixi+⎨E[α]−i=1⎩∑NhE[x⎫⎤ii]⎬i=1⎭⎥⎦∴⇒E[α]=E[α]所以：LMMSE是无偏估计；电子科技大学：何子述、孔令讲结论：１、由公式4.155,4.1可知：LMMSE估计仅用到了E(a),E(xk),E(xixk)， 即待估参量与观测样本的一阶二阶矩。 未利用pdf⇒估计性能比MAP,ML差。２、由于高斯分布仅由一阶二阶矩确定， 显然此时LMMSE⇔ML，是最佳的。3、若E[ε]=0，且E[xi]=0，则⇒b=0.4、估计方差 E[ε2]=E[ε(a−α)]=E(εa)−E(εa)=E(εa)电子科技大学：何子述、孔令讲16例：设有随机过程X的N个观测样本，xk=a+nkk=1,2,...,Na是待估参量，且E[a]=μ;Var(a)=β2nk:白噪声，均值为零，方差σ2试由x1,x2xN,用LMMSE估计a电子科技大学：何子述、孔令讲又∵E[axk]=E[a2+ank]=E[a2]=β2+μ2;E[x222kxi]=β+μ+σδ(k−i)E[bx2Nk]=bE[xk]=bμ=μ(1−∑hi)i=1N代入E[αxk]−∑hiE[xkxi]−bE[xk]=0，k=1,2...Ni=1N⇒β2−β2∑hi−σ2hk=0,k=1,2...Ni=1N∴⇒hβ2k=σ2(1−∑hi),k=1,2...Ni=1电子科技大学：何子述、孔令讲N∴a=∑hx+b1ii=Nβ2+σ2(Nβ2mx+μσ2)i=1Nm1x=N∑xii=1估计结果与MAP估计相同。∴若a,n均为高斯分布时，LMMSE是最佳估计。电子科技大学：何子述、孔令讲N解： a=∑hixi+bi=1由题可得：⎧N⎪⎪E[αxk]−∑hiE[xkxi]−bE[xk]=0，k=1,2...N⎨i=1⎪N⎪⎩b=E[α]−∑hiE[xi]i=1∵E[a]=μandE[xi]=E[a]+E[ni]=μN∴⇒b=μ−μ∑hii=1电子科技大学：何子述、孔令讲∵∑Nhi=constanti=1∴⇒h1=h2==hN∴⇒β2(1−Nh2k)-σhk=02⇒hk=βNβ2+σ2,k=1,2...N∴b=μ−μNβ2μσ2Nβ2+σ2=Nβ2+σ2电子科技大学：何子述、孔令讲若ni是非高斯分布时，以上估计不是最佳的。⎡2N⎤E[ε2]=E[εa]=E[a(a−a=E[a2]−E⎢β⎢∑x2i+μσ)]i=1⎢Nβ2+σ2a⎥⎥⎢⎥⎣⎥⎦Nβ2+μ2σ2=β2+μ2−∑E(axi)i=1Nβ2+σ2β2σ2=Nβ2+σ2⇒N→∞时，E[ε2]→0⇒为均方一致估计。电子科技大学：何子述、孔令讲173、矢量形式最佳线性估计(1)MMSE估计→E[|a−a|2]→min(a与X之间关系未知)N(2)线性估计→a=g(X)=∑hixi+bi=1⎧N(3)LMMSE→⎪⎨a=∑hixi+bi=1⎪⎩E[|a−a|2]→min(4)多个待估参量时,LMMSE估计如何?电子科技大学：何子述、孔令讲求标量函数J关于向量H,B的微分。⎧∂J=0⇒E[aXH]=•[H]+•[H]⇒⎪⎪⎨∂HBEXHEXX⎪∂J⎪⎩∂B=0⇒B=E[a]−HE[X]⇒⎧⎪⎨H=cov(a,X)•cov−1(X,X)⎪⎩B=E[a]−cov(a,X)•cov−1(X,X)•E[X]其中：cov(a,b)=E{[a−E(a)][b−E(b)]}电子科技大学：何子述、孔令讲例子：设有观测模型为一线性方程：X=Ga+n⎡xg⎢1⎤12g1M⎤⎡α1⎤⎡n⎢⎥⎡g⎢11x2gg22g⎥⎢⎢1⎤2M⎢⎥=⎢21⎢⎥⎢⎥⎥⎢α⎥2⎢⎥n⎥⎥+⎢2⎢⎥⎣x⎥⎦⎢N⎣gN1gN2g⎥⎢α⎥⎢⎥⎥NM⎦⎣M⎦⎣nN⎦问题：用LMMSE估计a,求出aMMSE.显然求出H，即B可得到aMMSE电子科技大学：何子述、孔令讲设x(t)=s(t,α)+n(t);α=[α1,α2,,αTM].有N个观测值X=[x1,x2,,xN]T构造线性估计：a=HX+B;a∈CM×1,H∈CM×N,X∈CN×1,B∈CM×1定义均方误差：J=E[||a−a||2]=E[(a−a)H(a−a)]a为实=E[(a−a)T(a−a)]*********J:是关于α1,α2,,αM的标量函数， 也是hij,bi的标量函数。电子科技大学：何子述、孔令讲∴⇒a的LMMSE估计：aMMSE=HX+B=E[a]+cov(a,X)cov−1(X,X)[X−E[X]]电子科技大学：何子述、孔令讲假定ni是零均值，ni和ai相互。设E[a]=a0；cov(a,a)=E[(a−a0)(a−a0)H]=CaE[n]=0 ；E[anH]=0 ；cov(n,n)=RnE[X]=Ga0； cov(a,X)=cov(a,GaH0+n)=cov(a,a)G=CHaGcov(X,XH)=E{[Ga+n−GaH0][Ga+n−Ga0]H}=GCaG+Rn∴⇒⎧⎪⎨B=aHH0−CaG[GCaG+Rn]−1[Ga0]⎪⎩H=CaGH[GCHaG+Rn]−1电子科技大学：何子述、孔令讲18∴⇒aHX+B=aH[GCHMMSE=0+CaGaG+Rn]−1[X−Ga0]若a0=0⇒aHH1MMSE=CaG[GCaG+Rn]−X电子科技大学：何子述、孔令讲LS问题：对于线性方程组AX=b,X∈CM×1,A∈CN×M，b∈CN×1其中：X是未知数。若N>M，一般情况下，方程无解。⎡⎣属于超定方程⎤⎦但，若X是方程的解，令e=b−AX2let→e2=b−AX=eHe→min→则方程有唯一解。此时方程的解X称为方程的LS解。电子科技大学：何子述、孔令讲若共有N次观测:x1,x2....xN，则有：⎡x⎢1⎤⎡g⎢⎢11g12g1M⎤⎡α1⎤⎡n1⎤x⎥2ggg⎥⎢α⎥⎢n⎥⎢⎢⎥⎥=⎢21222M⎥⎢2⎥+⎢2⎥⎣x⎥⎢⎢⎥⎥⎢⎢⎥⎥⎢⎢⎥⎥N⎦⎣gN1gN2gNM⎦⎣αM⎦⎣nM⎦写成矩阵形式：X=Gα+n⇔⎡⎣Gα=X−n⎤⎦电子科技大学：何子述、孔令讲4、6 最小二乘估计（Least Square Estimation）Bayes估计：要求p(X|a)、p(a)已知。ML估计：只需要p(X|a)已知。LMMSE估计：只需要X的一阶、二阶矩已知。LS估计：什么都不需已知；→把估计问题当成确定性的最佳化问题处理。⇔等效于解受扰动的方程。电子科技大学：何子述、孔令讲1、线性观测模型假设待估参量α1,α2,αM与观测值xi之间为线性关系。则⇒x=g1α1+g2α2++gMαM+n⎡α1⎤⇔x[g⎢⎥i=1g2gM]⎢+n⎢⎥⎣αM⎥⎦电子科技大学：何子述、孔令讲定义估计值为a，则误差向量为：e=X−Gα即：误差为观测值与观测值得估计值之差。***LSE：使估计值a满足e2→min定义误差平方和：MJ=∑e2i=eHe=e2=X−Gα2i=1电子科技大学：何子述、孔令讲19因此，等效于选择（求解）α，使J→min记为αLSH∵J=X−Gα2=⎡⎢X−Gα⎤⎡⎣⎥⎦⎢⎣X−Gα⎤⎥⎦⇔求J关于α的梯度即可。∂J=0⇒αGHG⎤−1GHX(4−197)∂αLS=⎡⎢⎣⎥⎦电子科技大学：何子述、孔令讲2、LS估计与ML估计的关系设观测样本为线性模型：X=Gα+nni是零均值，方差为σ2的WGNRHn=E[nn]↔自相关矩阵。∴⇒X也是高斯的。设α已知，则⇒似然函数p(X|α)=1−1N1exp[−1(X−Gα)TRn(X−Gα(2π)2|R2)]n|2电子科技大学：何子述、孔令讲对于零均值WGN⇒似然函数为Np(X|α)=⎛1⎞2⎜⎝2πσ2⎟⎠exp[−12σ2(X−Gα)T(X−Gα)]⇒ML估计：选择α,使p(X|α)→max⇔选择α,使(X−Gα)T(X−Gα)→min⇒αmin2TTML=argαX−Gα=(GG)−1GX电子科技大学：何子述、孔令讲∵G∈CM×N,N>M⇒(GHG)∈CM×M，andRank(GHG)=M⇒(GHG)−1存在⇒∴GHX=GHGα+GHn⎡−1∴αGHG⎤GH−1X−⎡GHLS=⎢⎣⎥⎦⎢⎣G⎤⎥⎦GHn电子科技大学：何子述、孔令讲取对数⇒⎡lnp(X|α)=ln⎢1⎤⎢N1⎥+⎧−1(X−Gα)TR−1n(X−Gα)⎫⎢⎣(2π)2|R⎥⎨n|2⎦⎥⎩2⎬⎭⇒ML估计⇔∂lnp(X|α)∂a=0⇒αTTML=(GG)−1GX∴对于线性观测模型，若n(t)是零均值WGN， 则ML与LS估计等效。电子科技大学：何子述、孔令讲实际中，直接求解计算量大，还需要求逆。而且α的取值离散且固定；⇒可将α的可能取值带入(X−Gα)2进行比较取使其最小的α作为ML估计。例如：QPSK中，相位只有四种可能的取值，代入(X−Gα)2中，取使该式最小的α为所求ML估计值。电子科技大学：何子述、孔令讲20例如：基于训练的移动通信信道LS估计。假设可用h(k)，k=0L描述信道。⇒x(k)=h(k)*s(k)+n(k)=h0s(k)+h1s(k−1)++hLs(k−L)+n(k)设共有N次观测，则⇒电子科技大学：何子述、孔令讲X(k)=S(k)H+n(k)典型的线性观测模型。实际中X(k)已知，S(k)已知，则：⇒信道的LS解为：HLS=⎡⎣S(k)HS(k)⎤−1⎦S(k)HX(k)电子科技大学：何子述、孔令讲⎡x(k)s(k)...s(k−L)⎢⎤⎡⎤⎢x(k−1)⎥⎢...s(k−L−1)⎥⎢⎥=⎢s(k−1)⎢⎥⎢⎥⎥⎣x(k−N+1)⎥⎦⎢⎣s(k−N+1)...s(k−L−N+1)⎥⎦⎡h0⎤⎡n(k)⎢⎢⎤×⎢h⎥1n(k−1)⎥⎢⎥⎢⎥⎥+⎢⎢⎥⎣h⎥⎢n⎥L⎦⎣K−N+1⎦⇔X(k)=S(k)H+n(k)典型的线性观测模型。电子科技大学：何子述、孔令讲21
