- 0.引言
- 1.基本概念
- 2.贝叶斯公式
- 3.独立
- 4.条件联合分布
- 5.条件贝叶斯公式
- 6.马尔科夫
近期遇到的概率公式，整理一下。
1.基本概念- 条件概率 P ( A ∣ B ) P(A|B) P(A∣B) : B B B 发生的情况下， A A A 发生的概率。
- 联合概率 P ( A , B ) = P ( A ∣ B ) P ( B ) P(A,B) = P(A|B)P(B) P(A,B)=P(A∣B)P(B) : A A A 、 B B B 同时发生的概率 = B B B发生 * B B B 发生时 A A A 发生。联合 = 条件 * 边缘
- 边缘概率 P ( B ) P(B) P(B) : 边缘概率与联合概率对应，仅与单个随机变量有关的概率。
- 全概率 P ( A ) = ∑ i = 1 n P ( A ∣ B i ) P ( B i ) P(A)=sum_{i=1}^{n} Pleft(A mid B_{i}right) Pleft(B_{i}right) P(A)=∑i=1nP(A∣Bi)P(Bi) : 若事件 B 1 ， B 2 ， … , B i B_1，B_2，…, B_i B1，B2，…,Bi 构成一个完备事件组且都有正概率，则对事件 A A A，有前述全概率公式成立，如图：
哎哟，图中的竖线画漏了，凑合看吧，懒得改了。
2.贝叶斯公式由联合概率可得： P ( A , B ) = P ( A ∣ B ) ⋅ P ( B ) = P ( B ∣ A ) ⋅ P ( A ) P(A, B)=P(A mid B) cdot P(B)=P(B mid A) cdot P(A) P(A,B)=P(A∣B)⋅P(B)=P(B∣A)⋅P(A)由此得到贝叶斯公式的常规形式： P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A mid B)=frac{P(B mid A) P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)
全概率公式和贝叶斯公式的结合：
P ( A ∣ B ) = P ( B ∣ A ) P ( A ) ∑ i = 1 n P ( B ∣ A i ) P ( A i ) P(A mid B)=frac{P(B mid A) P(A)}{sum_{i=1}^{n} Pleft(B mid A_{i}right) Pleft(A_{i}right)} P(A∣B)=∑i=1nP(B∣Ai)P(Ai)P(B∣A)P(A)
在状态估计时：
p ( x ∣ y ) = p ( y ∣ x ) p ( x ) p ( y ) p(boldsymbol{x} mid boldsymbol{y})=frac{p(boldsymbol{y} mid boldsymbol{x}) p(boldsymbol{x})}{p(boldsymbol{y})} p(x∣y)=p(y)p(y∣x)p(x)
赋予该式物理意义：
- x x x ： 状态，也称先验
- y y y ：传感器读数
- p ( y ∣ x ) p(y|x) p(y∣x) : 传感器模型，也称为似然
- p ( x ∣ y ) p(x|y) p(x∣y) : 状态估计， 也称后验
因此贝叶斯估计： 后验估计 ∝ propto ∝ 似然 * 先验 。参考链接。
3.独立- 若 x , y x,y x,y 独立：
p ( x , y ) = p ( x ) p ( y ) p ( x ∣ y ) = p ( x ) p ( y ∣ x ) = p ( y ) begin{aligned} &p(x, y)=p(x) p(y) \ &p(x mid y)=p(x) \ &p(y mid x)=p(y) end{aligned} p(x,y)=p(x)p(y)p(x∣y)=p(x)p(y∣x)=p(y)
-
x
x
x 与
y
y
y 条件独立 (即有条件的独立)：
p ( x , y ∣ z ) = p ( x ∣ z ) p ( y ∣ z ) p ( x ∣ y , z ) = p ( x ∣ z ) p ( y ∣ x , z ) = p ( y ∣ z ) begin{aligned} &mathrm{p}(x, y mid z)=p(x mid z) p(y mid z) \ &p(x mid y, z)=p(x mid z) \ &p(y mid x, z)=p(y mid z) end{aligned} p(x,y∣z)=p(x∣z)p(y∣z)p(x∣y,z)=p(x∣z)p(y∣x,z)=p(y∣z)
当有三个或多个随机变量时，可以根据需要灵活分解条件联合分布：
P
(
A
,
B
∣
C
)
=
P
(
A
∣
B
,
C
)
P
(
B
∣
C
)
P(A, B mid C)=P(A mid B, C) P(B mid C)
P(A,B∣C)=P(A∣B,C)P(B∣C)
这个等式推导如下。当有三个随机变量时，以下等式仍然是成立的：
P
(
A
∣
B
,
C
)
=
P
(
A
,
B
,
C
)
P
(
B
,
C
)
P(Amid B, C)=frac{P(A, B, C)}{P(B, C)}
P(A∣B,C)=P(B,C)P(A,B,C)
P
(
A
,
B
∣
C
)
=
P
(
A
,
B
,
C
)
P
(
C
)
P(A, B mid C)=frac{P(A, B,C)}{P(C)}
P(A,B∣C)=P(C)P(A,B,C)
稍微变换一下这俩等式，可以得到：
P
(
A
∣
B
,
C
)
P
(
B
,
C
)
=
P
(
A
,
B
∣
C
)
P
(
C
)
P(A mid B, C) P(B, C)=P(A, B mid C) P(C)
P(A∣B,C)P(B,C)=P(A,B∣C)P(C)
而其中
P
(
B
,
C
)
=
P
(
B
∣
C
)
P
(
C
)
P(B, C)=P(B mid C) P(C)
P(B,C)=P(B∣C)P(C)将这个等式代入上面式子中，可以得到条件联合分布：
P ( A , B ∣ C ) = P ( A ∣ B , C ) P ( B ∣ C ) P(A, B mid C)=P(A mid B, C) P(B mid C) P(A,B∣C)=P(A∣B,C)P(B∣C)
5.条件贝叶斯公式类比，贝叶斯公式可由联合概率推导出，条件贝叶斯公式也可从条件联合概率公式推导出。由条件联合概率： $P(A, B mid C)=P(A mid B, C) P(B mid C) = P(B mid A, C) P(A mid C) $，有
P
(
A
∣
B
,
C
)
=
P
(
B
∣
A
,
C
)
P
(
A
∣
C
)
P
(
B
∣
C
)
=
η
P
(
B
∣
A
,
C
)
P
(
A
∣
C
)
P(A mid B, C)=frac{P(B mid A, C) P(A mid C)}{P(B mid C)}=eta P(B mid A, C) P(A mid C)
P(A∣B,C)=P(B∣C)P(B∣A,C)P(A∣C)=ηP(B∣A,C)P(A∣C)
即是，条件贝叶斯公式。
- 可视化
- wiki
马尔可夫链是满足马尔可夫性质的随机变量序列 X 1 , X 2 , X 3 , . . . X_1, X_2, X_3, ... X1,X2,X3,...，即给出当前状态，将来状态和过去状态是相互独立的。
P ( X n + 1 = x ∣ X 1 = x 1 , X 2 = x 2 , … , X n = x n ) = P ( X n + 1 = x ∣ X n = x n ) operatorname{P}left(X_{n+1}=x mid X_{1}=x_{1}, X_{2}=x_{2}, ldots, X_{n}=x_{n}right)=operatorname{P}left(X_{n+1}=x mid X_{n}=x_{n}right) P(Xn+1=x∣X1=x1,X2=x2,…,Xn=xn)=P(Xn+1=x∣Xn=xn)
