随机过程笔记——1.相关函数

b站张颢老师随机过程笔记，本文主要是第一二节的内容。
建议先修课程：概率论，矩阵论或线性代数，高等数学。
由于张颢老师似乎是教电子的，里面的很多举例和信号相关，可以根据自己的实际来看，或者看看信号与系统。
后续我会发布笔记的pdf和markdown，需要的同学可以下载。

文章目录

随机过程（Stochastic Process）

1.相关函数

线性相关相关、不相关和独立相关系数相关函数 2.从相关到随机过程

相关随机过程

随机过程（Stochastic Process）

一组随机变量，着眼于随机变量之间的关联，t只是一个index不一定是时间，t是两维就是随机场

Correlation(linear)：相关

时域 Time Domain：相关函数 correlation function

频域 Frequency Domain：功率谱密度 Spectrum

典型的相关过程：高斯过程 Gaussian Process

Markov Property

离散时间

连续时间

典型的马尔可夫过程：泊松过程 Poisson Process

Martingale

Optional Theorem 1.相关函数 线性相关

对于多个随机变量的关系研究，最开始是联合概率密度。对于随机变量 x,y。联合分布Joint Distribution

f x , y ( x , y ) = ∂ 2 ∂ x ∂ y F x , y ( x , y ) f_{x,y}(x,y)=frac{partial^{2}}{partial xpartial y}F_{x,y}(x,y) fx,y​(x,y)=∂x∂y∂2​Fx,y​(x,y)

F x , y ( x , y ) = P ( X ≤ x , Y ≤ y ) F_{x,y}(x,y)=P(Xleq x,Yleq y) Fx,y​(x,y)=P(X≤x,Y≤y)

从图像看相关性：看一个变量发生变化时，另外一个变量的分布或者概率是否发生变化

相关系数：对于线性相关，相关系数越大，相关性越高，对于二维变量，其图像表现得越细窄

我们试图建立两个随机变量的线性关系 Y = α X Y=alpha X Y=αX，但是这样忽略了变量的变化是有范围的，不是单纯的线性关系，可以将其扩展为 E ( Y − α X ) 2 E(Y-alpha X)^{2} E(Y−αX)2，即均方误差（mean square error）。对于 α alpha α，由于希望找到 min ⁡ α E ( Y − α X ) 2 minlimits_{alpha}E(Y-alpha X)^{2} αmin​E(Y−αX)2，则 α o p t = E ( X Y ) E ( X 2 ) alpha_{opt}=frac{E(XY)}{E(X^{2})} αopt​=E(X2)E(XY)​。上面的部分更关键。

相关、不相关和独立

相关 E ( X Y ) E(XY) E(XY)

去中心化的相关 E ( X − E X ) E ( Y − E Y ) = E ( X Y ) − E ( X E Y ) − E ( Y E X ) − E X E Y = E ( X Y ) − E X E Y E(X-EX)E(Y-EY)=E(XY)-E(XEY)-E(YEX)-EXEY=E(XY)-EXEY E(X−EX)E(Y−EY)=E(XY)−E(XEY)−E(YEX)−EXEY=E(XY)−EXEY，减去了一个常数，两者不再区分。

不相关 Uncorrelated： E ( X Y ) = 0 E(XY)=0 E(XY)=0 或者 E ( X − E X ) E ( Y − E Y ) = 0 E(X-EX)E(Y-EY)=0 E(X−EX)E(Y−EY)=0，即 E ( X Y ) = E X E Y E(XY)=EXEY E(XY)=EXEY。是线性的关系不存在，可能存在其他关系

独立：更强

相关系数

一个重要的理解：几何上的理解 Geometric View，看作是一种内积 E ( X Y ) = < X , Y > E(XY)= E(XY)=

内积满足：对称性，非负性，双线性性（双变量各自满足线性性）

内积量化成角度： c o s < x , y > = < x , y > ( < x , x > < u , y > ) 1 2 cos=frac{}{()^{frac{1}{2}}} cos=()21​​

随机变量的相关对应到线性空间里两个矢量的夹角：Randow Variable to Vector

由此，将线性空间内的夹角扩展到随机变量的相关系数有 c o s = E ( X Y ) ( E X 2 E Y 2 ) 1 2 cos=frac{E(XY)}{(EX^2EY^2)^{frac{1}{2}}} cos=(EX2EY2)21​E(XY)​

这里的 E X 2 EX^2 EX2是 E ( X 2 ) E(X^{2}) E(X2)

根据Cauchy-Schwars不等式，保证 − 1 ≤ c o s ≤ 1 -1leq cosleq 1 −1≤cos≤1

Cauchy-Schwars的不同形式：

∣ ∑ k x x y k ∣ ≤ ( ∑ k x k 2 ) 1 2 ( ∑ k y k 2 ) 1 2 |sumlimits_{k}x_{x}y_{k}|leq(sumlimits_{k}x^{2}_{k})^{frac{1}{2}}(sumlimits_{k}y^{2}_{k})^{frac{1}{2}} ∣k∑​xx​yk​∣≤(k∑​xk2​)21​(k∑​yk2​)21​ ∫ f ( x ) g ( x ) d x ≤ ( ∫ f 2 ( x ) d x ∫ g 2 ( x ) d x ) 1 2 int f(x)g(x)dxleq (int f^{2}(x)dxint g^2(x)dx)^{frac{1}{2}} ∫f(x)g(x)dx≤(∫f2(x)dx∫g2(x)dx)21​一般形式： ∣ < x , y > ∣ ≤ ∣ < x , x > < y , y > ∣ 1 2 ||leq||^{frac{1}{2}} ∣∣≤∣∣21​
都是内积。反映测不准原理。

有了几何上的理解，对于两个随机变量X，Y，在线性空间有夹角 θ theta θ，计算Y在X上的投影，则有 ∣ ∣ Y ∣ ∣ c o s ( θ ) X ∣ ∣ X ∣ ∣ = ( ∣ ∣ Y ∣ ∣ ∣ ∣ X ∣ ∣ c o s ( θ ) ) X ||Y||cos(theta)frac{X}{||X||}=(frac{||Y||}{||X||}cos(theta))X ∣∣Y∣∣cos(θ)∣∣X∣∣X​=(∣∣X∣∣∣∣Y∣∣​cos(θ))X，由于 ∣ ∣ Y ∣ ∣ ∣ ∣ X ∣ ∣ E ( X Y ) ∣ ∣ X ∣ ∣ ∣ ∣ Y ∣ ∣ = E ( X Y ) E X 2 = α frac{||Y||}{||X||}frac{E(XY)}{||X||||Y||}=frac{E(XY)}{EX^2}=alpha ∣∣X∣∣∣∣Y∣∣​∣∣X∣∣∣∣Y∣∣E(XY)​=EX2E(XY)​=α，所以Y在X上的投影为 α X alpha X αX，和上面的 α alpha α一致（上面没有写代数上的推导）

相关函数

相关函数 Correlation Funtion，定义在随机过程上

Auto自相关： R X ( t , s ) = E ( X ( t ) X ( s ) ) R_{X}(t,s)=E(X(t)X(s)) RX​(t,s)=E(X(t)X(s))，Binary二元的。性质

对称性： R X ( t , s ) = R X ( s , t ) R_{X}(t,s)=R_{X}(s,t) RX​(t,s)=RX​(s,t)非负性： R X ( t , t ) = E ( X 2 ( t ) ) ≥ 0 R_X(t,t)=E(X^2(t))geq 0 RX​(t,t)=E(X2(t))≥0，对角线上是非负的满足Cauchy-Schwars不等式： ∣ R X ( t , s ) ∣ ≤ ( R X ( t , t ) R X ( s , s ) ) 1 2 |R_{X}(t,s)|leq (R_{X}(t,t)R_{X}(s,s))^{frac{1}{2}} ∣RX​(t,s)∣≤(RX​(t,t)RX​(s,s))21​

特点来自于相关运算，即内积

由于这样的相关还是二元的，希望把它转化成一元的，因此，我们需要做一个假设，即平稳性。

证明过程：

g ( α ) = < α x + y , α x + y > = < x , x > α 2 + 2 < x , y > α + < y , y > g(alpha)==alpha^2+2alpha+ g(α)=<αx+y,αx+y>=α2+2α+

Invariance to Stationary（平稳性）：平稳性是一种不变特征，指随机过程的某一类统计特性随着时间变化而保持不变的特性

宽平稳

均值不变，是常数： E [ X ( t ) ] = m ( t ) = m E[X(t)]=m(t)=m E[X(t)]=m(t)=m相关函数满足 R X ( t , s ) = R X ( t + D , s + D ) , ∀ D ∈ R R_X(t,s)=R_X(t+D,s+D),forall D in mathbb{R} RX​(t,s)=RX​(t+D,s+D),∀D∈R，这时相关函数只与两个时刻的差值有关，即 R X ( t , s ) = R X ( t − s ) = R X ( τ ) R_X(t,s)=R_X(t-s)=R_X(tau) RX​(t,s)=RX​(t−s)=RX​(τ)，而和时刻的具体位置无关。相关函数变成了一元的了。

搞清楚什么是确定的，什么是随机的
因此更加关注上面的第二条。

此时相关函数的性质：

对称性： R X ( τ ) = R X ( − τ ) R_X(tau)=R_X(-tau) RX​(τ)=RX​(−τ)。即宽平稳情况下相关函数是偶函数

柯西不等式： ∣ R X ( τ ) ∣ ≤ R X ( 0 ) |R_X(tau)|leq R_X(0) ∣RX​(τ)∣≤RX​(0)

Positive Definite正定性：

矩阵正定： A ∈ R n × n , α ∈ R n , α T A α ≥ 0 Ain mathbb{R}^{ntimes n},alpha in mathbb{R}^n,alpha^TAalpha geq 0 A∈Rn×n,α∈Rn,αTAα≥0

函数正定：函数 f ( x ) f(x) f(x)正定，即任取n个变量 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1​,x2​,...,xn​，构成矩阵的 A = ( a i j ) n × n , a i j = f ( x i − x j ) A=(a_{ij})_{ntimes n},a_{ij}=f(x_i-x_j) A=(aij​)n×n​,aij​=f(xi​−xj​)正定

若正定，则 R X ( 0 ) ≥ 0 R_X(0)geq0 RX​(0)≥0。取1个变量，则 A = ∣ R X ( x 1 − x 1 ) ∣ A=|R_X(x_1-x_1)| A=∣RX​(x1​−x1​)∣，一个元素， R X ( x 1 − x 1 ) = R X ( 0 ) ≥ 0 R_X(x_1-x_1)=R_X(0)geq0 RX​(x1​−x1​)=RX​(0)≥0若正定，则一定满足柯西不等式 ∣ R X ( τ ) ∣ ≤ R X ( 0 ) |R_X(tau)|leq R_X(0) ∣RX​(τ)∣≤RX​(0)。取两个变量 x 1 = 0 , x 2 = τ x_1=0,x_2=tau x1​=0,x2​=τ，则有矩阵
A = ( R X ( x 1 − x 1 ) R X ( x 1 − x 2 ) R X ( x 2 − x 1 ) R X ( x 2 − x 2 ) ) = ( R X ( 0 ) R X ( − τ ) R X ( τ ) R X ( 0 ) ) ≥ 0 A= begin{pmatrix} R_X(x_1-x_1) & R_X(x_1-x_2)\ R_X(x_2-x_1) & R_X(x_2-x_2) end{pmatrix} = begin{pmatrix} R_X(0) & R_X(-tau)\ R_X(tau) & R_X(0) end{pmatrix} geq0 A=(RX​(x1​−x1​)RX​(x2​−x1​)​RX​(x1​−x2​)RX​(x2​−x2​)​)=(RX​(0)RX​(τ)​RX​(−τ)RX​(0)​)≥0

​ 因为，正定矩阵对称，所以 R X ( τ ) = R X ( − τ ) R_X(tau)=R_X(-tau) RX​(τ)=RX​(−τ)。柯西不等式也因行列式为正可得。

验证正定：任取n个时刻，有 τ 1 , τ 2 , . . . , τ n tau_1,tau_2,...,tau_n τ1​,τ2​,...,τn​，构成矩阵 A = ( f ( x i − x j ) ) i j ≥ 0 A=(f(x_i-x_j))_{ij}geq 0 A=(f(xi​−xj​))ij​≥0。任取 α ∈ R n , α = ( α 1 , . . . , α n ) T alpha in mathbb{R}^n,alpha = (alpha_1,...,alpha_n)^T α∈Rn,α=(α1​,...,αn​)T。计算
α T A α = ∑ i = 1 n ∑ j = 1 n R X ( τ i − τ j ) α i α j = ∑ i = 1 n ∑ j = 1 n E [ X ( τ i ) X ( τ j ) ] α i α j = E [ ∑ i = 1 n ∑ j = 1 n X ( τ i ) X ( τ j ) α i α j ] ( 因 为 此 处 α 没 有 随 机 性 ) = E [ ∑ i = 1 n X ( τ i ) α i ] 2 ≥ 0 ( 最 后 一 步 化 简 可 能 比 较 难 理 解 ， 注 意 这 里 不 是 E [ ∑ i = 1 n ( X ( τ i ) α i ) 2 ] begin{aligned} alpha ^TAalpha &=sum_{i=1}^nsum_{j=1}^nR_X(tau_i-tau_j)alpha_ialpha_j\ &=sum_{i=1}^nsum_{j=1}^nE[X(tau_i)X(tau_j)]alpha_ialpha_j\ &=E[sum_{i=1}^nsum_{j=1}^nX(tau_i)X(tau_j)alpha_ialpha_j](因为此处alpha没有随机性)\ &=E[sum_{i=1}^nX(tau_i)alpha_i]^2geq0(最后一步化简可能比较难理解，注意这里不是E[sum_{i=1}^n(X(tau_i)alpha_i)^2] end{aligned} αTAα​=i=1∑n​j=1∑n​RX​(τi​−τj​)αi​αj​=i=1∑n​j=1∑n​E[X(τi​)X(τj​)]αi​αj​=E[i=1∑n​j=1∑n​X(τi​)X(τj​)αi​αj​](因为此处α没有随机性)=E[i=1∑n​X(τi​)αi​]2≥0(最后一步化简可能比较难理解，注意这里不是E[i=1∑n​(X(τi​)αi​)2]​

相关矩阵Correlation Matrix。下面是正定证明的另一种写法。

X = ( X ( τ 1 ) , . . . , X ( τ n ) ) T , ( R X ( τ i − τ j ) ) i j = E ( X X T ) = R X=(X(tau_1),...,X(tau_n))^T,(R_X(tau_i-tau_j))_{ij}=E(XX^T)=R X=(X(τ1​),...,X(τn​))T,(RX​(τi​−τj​))ij​=E(XXT)=R

α T R α = α T E ( X X T ) α = E ( α T X X T α ) = E ( α T X ) 2 alpha^TRalpha=alpha^TE(XX^T)alpha=E(alpha^TXX^Talpha)=E(alpha^TX)^2 αTRα=αTE(XXT)α=E(αTXXTα)=E(αTX)2

相关函数是正定函数，这是其特征性质Characteristic Property，即充分必要。正定函数一定是相关函数，任何一个正定函数一定能找到某个随机过程，使得该正定函数是其相关函数。

如果有 R ( 0 ) = R ( τ ) , τ ≠ 0 R(0)=R(tau),tauneq0 R(0)=R(τ),τ​=0，则一定能推断出 R ( τ ) = R ( τ + T ) R(tau)=R(tau+T) R(τ)=R(τ+T)，即相关函数一定是周期的。

验证：

均方周期性mean square Periodic
E ∣ X ( τ + T ) − X ( τ ) ∣ 2 = E [ X 2 ( τ + T ) ] + E [ X 2 ( τ ) ] − 2 E [ X ( τ + T ) X ( τ ) ] = 2 R X ( 0 ) − 2 R X ( T ) = 0 ∣ R ( τ + T ) − R ( τ ) ∣ = ∣ E [ X ( τ + T ) X ( 0 ) ] − E [ X ( τ ) X ( 0 ) ] ∣ = ∣ E [ X ( 0 ) ( X ( τ + T ) − X ( τ ) ) ] ∣ ≤ ( E [ X 2 ( 0 ) ] E ∣ X ( τ + T ) − X ( τ ) ∣ 2 ) 1 2 = 0 begin{aligned} E|X(tau+T)-X(tau)|^2&=E[X^2(tau+T)]+E[X^2(tau)]-2E[X(tau+T)X(tau)]\ &=2R_X(0)-2R_X(T)=0\ |R(tau+T)-R(tau)|&=|E[X(tau+T)X(0)]-E[X(tau)X(0)]|\ &=|E[X(0)(X(tau+T)-X(tau))]|\ &leq (E[X^2(0)]E|X(tau+T)-X(tau)|^2)^frac{1}{2}=0 end{aligned} E∣X(τ+T)−X(τ)∣2∣R(τ+T)−R(τ)∣​=E[X2(τ+T)]+E[X2(τ)]−2E[X(τ+T)X(τ)]=2RX​(0)−2RX​(T)=0=∣E[X(τ+T)X(0)]−E[X(τ)X(0)]∣=∣E[X(0)(X(τ+T)−X(τ))]∣≤(E[X2(0)]E∣X(τ+T)−X(τ)∣2)21​=0​

是否存在Rectangle Window（矩形窗）一样的相关函数？不存在。
相关函数的一个特性：相关函数在0点连续，则在任意点连续（局部—>总体，来源于平稳的特点）不是正定的，因为傅里叶函数不是正的，不是相关函数
三角波是否是相关函数？是。
时域卷积为频域乘积。则傅里叶变换为正，故正定，是相关函数

证明1：

两个随机变量之间的距离，是均方距离mean square distance ，进而推广到随机极限（满足范数的定义：非负性、对称性、三角不等式（通过柯西不等式可推导））

均方连续性mean square continuous
E ∣ X ( τ + Δ ) − X ( τ ) ∣ 2 = 2 R X ( 0 ) − 2 R X ( Δ ) 因 为 在 0 点 连 续 ， 因 此 lim ⁡ Δ → 0 E ∣ X ( τ + Δ ) − X ( τ ) ∣ 2 = 0 ∣ R ( τ + Δ ) − R ( τ ) ∣ ≤ ( E [ X 2 ( 0 ) ] E ∣ X ( τ + Δ ) − X ( τ ) ∣ 2 ) 1 2 = 0 因 此 lim ⁡ Δ → 0 ∣ R ( τ + Δ ) − R ( τ ) ∣ = 0 begin{aligned} &E|X(tau+Delta)-X(tau)|^2 =2R_X(0)-2R_X(Delta)\ &因为在0点连续，因此 lim_{Deltarightarrow0}E|X(tau+Delta)-X(tau)|^2=0\ &|R(tau+Delta)-R(tau)|leq(E[X^2(0)]E|X(tau+Delta)-X(tau)|^2)^frac{1}{2}=0\ &因此lim_{Deltarightarrow0}|R(tau+Delta)-R(tau)|=0 end{aligned} ​E∣X(τ+Δ)−X(τ)∣2=2RX​(0)−2RX​(Δ)因为在0点连续，因此Δ→0lim​E∣X(τ+Δ)−X(τ)∣2=0∣R(τ+Δ)−R(τ)∣≤(E[X2(0)]E∣X(τ+Δ)−X(τ)∣2)21​=0因此Δ→0lim​∣R(τ+Δ)−R(τ)∣=0​
证明2：

Bochner指出：一个函数是正定的，当且仅当该函数的傅里叶变换是正的。（这里提供了频域研究的思路，而宽平稳是可以做频域分析的）
f ( x )   i s   P . d ⇔ ∫ − ∞ + ∞ f ( x ) e − j ω x d x ≥ 0 f(x) is P.dLeftrightarrowint_{-infty}^{+infty}f(x)e^{-jomega x}dxgeq0 f(x) is P.d⇔∫−∞+∞​f(x)e−jωxdx≥0
矩形窗的傅里叶变换是Sa函数，不满足条件。

下面验证Bochner提出的那句话：

已知 F ( ω ) = ∫ − ∞ + ∞ f ( x ) e − j ω x d x ≥ 0 F(omega)=int_{-infty}^{+infty}f(x)e^{-jomega x}dxgeq0 F(ω)=∫−∞+∞​f(x)e−jωxdx≥0。证明： f ( x ) = 1 2 π ∫ − ∞ + ∞ F ( ω ) e j ω x d ω f(x)=frac{1}{2pi}int_{-infty}^{+infty}F(omega)e^{jomega x}domega f(x)=2π1​∫−∞+∞​F(ω)ejωxdω正定。

先看 g ( x ) = e j ω x g(x)=e^{jomega x} g(x)=ejωx：即 ∀ x 1 , x 2 , . . . , x n . ( e j ω ( x i − x j ) ) i j = B , ∀ α ∈ C n ⇒ α H B α ≥ 0 forall x_1,x_2,...,x_n.(e^{jomega(x_i-x_j)})_{ij}=B,forall alphain C^nRightarrowalpha^HBalphageq0 ∀x1​,x2​,...,xn​.(ejω(xi​−xj​))ij​=B,∀α∈Cn⇒αHBα≥0
α H B α = ∑ i = 1 n ∑ j = 1 n e j ω ( x i − x j ) α i ‾ α j = ∣ ∑ i = 1 n e j ω ( x i ) α i ‾ ∣ 2 ≥ 0 begin{aligned} alpha^HBalpha&=sum_{i=1}^nsum_{j=1}^ne^{jomega(x_i-x_j)}overline{alpha_i}alpha_j\ &=|sum_{i=1}^ne^{jomega(x_i)}overline{alpha_i}|^2geq0 end{aligned} αHBα​=i=1∑n​j=1∑n​ejω(xi​−xj​)αi​​αj​=∣i=1∑n​ejω(xi​)αi​​∣2≥0​
h ( ω , x )   i s   P . d ⇒ ∑ k = 1 n a k h ( ω k , x )   i s   P . d , a k ≥ 0 ⇒ ∫ − ∞ + ∞ a ( ω ) h ( ω , x ) d ω h(omega,x) is P.dRightarrowsum_{k=1}^na_kh(omega_k,x) is P.d,a_kgeq0Rightarrowint_{-infty}^{+infty}a(omega)h(omega,x)domega h(ω,x) is P.d⇒∑k=1n​ak​h(ωk​,x) is P.d,ak​≥0⇒∫−∞+∞​a(ω)h(ω,x)dω

随机变量：样本空间映射到实数轴的确定性函数。

概率：样本空间包含了所有的可能性，然后P(A)=p，这是一个确定性函数，本身表示的是样本空间某个子集的出现可能性的大小。是先验的。

概率：从模型(先验)到决策

统计：从数据得到模型

例1：Modulated Signal。 X ( t ) = A ( t ) c o s ( 2 π f 0 t + θ ) , A ( t ) : 随 机 , θ ∼ v ( 0 , a π ) ， A ( t ) 与 θ X(t)=A(t)cos(2pi f_0t+theta),A(t):随机,theta sim v(0,api)，A(t)与theta X(t)=A(t)cos(2πf0​t+θ),A(t):随机,θ∼v(0,aπ)，A(t)与θ 独立。证明宽平稳：

先看一阶矩：
E [ X ( t ) ] = E [ A ( t ) ] E [ c o s ( 2 π f 0 t + θ ) ] = E [ A ( t ) ] ∫ 0 2 π c o s ( 2 π f 0 t + θ ) d θ = 0 begin{aligned} E[X(t)]&=E[A(t)]E[cos(2pi f_0t+theta)]\ &=E[A(t)]int^{2pi}_{0}cos(2pi f_0t+theta)dtheta \ &=0 end{aligned} E[X(t)]​=E[A(t)]E[cos(2πf0​t+θ)]=E[A(t)]∫02π​cos(2πf0​t+θ)dθ=0​
再看相关函数：
R X ( t , s ) = E [ X ( t ) X ( s ) ] = E [ A ( t ) A ( s ) ] E [ c o s ( 2 π f 0 t + θ ) c o s ( 2 π f 0 s + θ ) ] = E [ A ( t ) A ( s ) ] 1 2 ( E [ c o s ( 2 π f 0 ( t − s ) ) ] + E [ c o s ( 2 π f 0 ( t + s ) + 2 θ ) ] ) = 1 2 E [ A ( t ) A ( s ) ] E [ c o s ( 2 π f 0 ( t − s ) ) ] begin{aligned} R_X(t,s)&=E[X(t)X(s)]\ &=E[A(t)A(s)]E[cos(2pi f_0t+theta)cos(2pi f_0s+theta)]\ &=E[A(t)A(s)]frac{1}{2}(E[cos(2pi f_0(t-s))]+E[cos(2pi f_0(t+s)+2theta)])\ &=frac{1}{2}E[A(t)A(s)]E[cos(2pi f_0(t-s))] end{aligned} RX​(t,s)​=E[X(t)X(s)]=E[A(t)A(s)]E[cos(2πf0​t+θ)cos(2πf0​s+θ)]=E[A(t)A(s)]21​(E[cos(2πf0​(t−s))]+E[cos(2πf0​(t+s)+2θ)])=21​E[A(t)A(s)]E[cos(2πf0​(t−s))]​
可见，如果振幅调制本身是宽平稳的，则整体的信号是宽平稳的。

例2：Random Telegraph Signal。随机取1或-1。已知在[s,t]时间内，切换k次的概率为 P = λ ( t − s ) k k ! e − λ ( t − s ) P=frac{lambda(t-s)^k}{k!}e^{-lambda(t-s)} P=k!λ(t−s)k​e−λ(t−s)。泊松分布Poisson Distribution。证明宽平稳。
计算二阶矩（相关函数）：
E [ X ( t ) X ( s ) ] = R X ( t , s ) = 1 ⋅ P 1 + ( − 1 ) ⋅ P − 1 = ∑ k ∈ e v e n λ ( t − s ) k k ! − ∑ k ∈ o d d λ ( t − s ) k k ! = e − 2 λ ( t − s ) begin{aligned} E[X(t)X(s)]&=R_X(t,s)\ &=1cdot P_1+(-1)cdot P_{-1}\ &=sum_{k in even}frac{lambda(t-s)^k}{k!}-sum_{k in odd}frac{lambda(t-s)^k}{k!}\ &=e^{-2lambda(t-s)} end{aligned} E[X(t)X(s)]​=RX​(t,s)=1⋅P1​+(−1)⋅P−1​=k∈even∑​k!λ(t−s)k​−k∈odd∑​k!λ(t−s)k​=e−2λ(t−s)​
其中，结果只有1和-1两种可能，故需处理两种结果的概率即可。而结果是1说明信号翻转了偶数次，结果是-1说明翻转了奇数次。因为
∑ λ ( t − s ) k k ! = e λ ( t − s ) ∑ [ − λ ( t − s ) ] k k ! = e − λ ( t − s ) begin{aligned} sum frac{lambda(t-s)^k}{k!}&=e^{lambda(t-s)}\ sum frac{[-lambda(t-s)]^k}{k!}&=e^{-lambda(t-s)} end{aligned} ∑k!λ(t−s)k​∑k![−λ(t−s)]k​​=eλ(t−s)=e−λ(t−s)​
则
∑ k ∈ e v e n λ ( t − s ) k k ! = 1 2 [ e λ ( t − s ) + e − λ ( t − s ) ] = 1 2 [ 1 + e − 2 λ ( t − s ) ] ∑ k ∈ o d d λ ( t − s ) k k ! = 1 2 [ e λ ( t − s ) − e − λ ( t − s ) ] = 1 2 [ 1 − e − 2 λ ( t − s ) ] begin{aligned} sum_{k in even}frac{lambda(t-s)^k}{k!} &=frac{1}{2}[e^{lambda(t-s)}+e^{-lambda(t-s)}]\ &=frac{1}{2}[1+e^{-2lambda(t-s)}]\ sum_{k in odd}frac{lambda(t-s)^k}{k!} &=frac{1}{2}[e^{lambda(t-s)}-e^{-lambda(t-s)}]\ &=frac{1}{2}[1-e^{-2lambda(t-s)}] end{aligned} k∈even∑​k!λ(t−s)k​k∈odd∑​k!λ(t−s)k​​=21​[eλ(t−s)+e−λ(t−s)]=21​[1+e−2λ(t−s)]=21​[eλ(t−s)−e−λ(t−s)]=21​[1−e−2λ(t−s)]​

2.从相关到随机过程 相关

相关是对两个随机变量而言的 X , Y X,Y X,Y，计算相关 E ( X Y ) E(XY) E(XY)。

从代数上讲，内积从几何上讲，夹角。如此有了正交、投影等概念从随机上讲，期望 随机过程

随机过程X(t)，t：Index Set只是一个指标集（Time就是随机过程，Space就是随机场）。用相关函数研究随机过程， R X ( t , s ) = E ( X ( t ) X ( s ) ) R_X(t,s)=E(X(t)X(s)) RX​(t,s)=E(X(t)X(s))，是一个确定性的二元函数。如果随机过程满足平稳性，如宽平稳，则相关函数只依赖于时间差,即 R X ( t , s ) = R X ( t − s ) R_X(t,s)=R_X(t-s) RX​(t,s)=RX​(t−s)
X ( t ) = X ( ω , t ) , Ω × R → R X(t)=X(omega,t),Omegatimesmathbb{R}rightarrowmathbb{R} X(t)=X(ω,t),Ω×R→R

映射关系：给定t，得到一个随机变量X（关心随机变量之间的关系）。需要知道的是，随机变量本身也是一个函数 X ( t , w ) X(t,w) X(t,w)，实际上是一个二元函数，不止依赖于t，还依赖于样本空间里的样本点w，w体现了随机性因此，给定w，得到一个关于时间的函数，不再有不确定性，该函数称为样本轨道Sample Path

样本轨道在不同时刻的取值不是完全独立的，受到一种关系的约束，随机过程在不同时刻得到的不同的随机变量之间有着相互的约束

希望研究，不确定性下确定的东西，随着时间变化下的趋势

映射关系：给定t，得到一个随机变量X（关心随机变量之间的关系）。需要知道的是，随机变量本身也是一个函数 X ( t , w ) X(t,w) X(t,w)，实际上是一个二元函数，不止依赖于t，还依赖于样本空间里的样本点w，w体现了随机性因此，给定w，得到一个关于时间的函数，不再有不确定性，该函数称为样本轨道Sample Path

样本轨道在不同时刻的取值不是完全独立的，受到一种关系的约束，随机过程在不同时刻得到的不同的随机变量之间有着相互的约束

希望研究，不确定性下确定的东西，随着时间变化下的趋势