概率图模型2-概率有向图模型

徐静

今天我们来科普概率有向图模型。 概率有向图模型又称为贝叶斯网络，贝叶斯模型，信念网络，是一种通过有向无圈图来表示随机变量及其条件依赖关系的概率图模型。

贝叶斯网络$\mathcal{B}$是一个以随机变量为顶点，以便为条件依赖关系的有向无圈图$G=(V,E)$，其联合概率分布可进行如下因子分解：

这个因式分解的表达式也称为贝叶斯网络的链式法则，可以证明贝叶斯网络的联合概率分布满足局部条件独立性，也就是说：一个贝叶斯网络的任意节点$X$与其所有非后代节点都条件独立于其父节点集

在一个贝叶斯网络中，任意一条由三个变量构成的迹$X_i\leftrightarrow X_k \leftrightarrow X_j$，会存在下面三种链接方式：

• 串行连接

• 发散连接

• 收敛连接

下面介绍几个概率有向图的概念

有效迹： 在一个贝叶斯网络中，如果两个随机变量$X$和$Y$可以通过一条迹产生有效的相互影响，$X$和$Y$就不会是相互独立的，则这条迹称为有效迹； 在给定观测变量集$Z$的条件下，贝叶斯网络的一条有效迹$X_1 \leftrightarrow... \leftrightarrow X_n$称为有效迹，如果对于其中任意的收敛连接$X_{i-1} \to X_i \gets X_{i+1}$都有$X_i \in Z$或$Desc_{\mathcal{B}}(X_i) \cup Z \ne \varnothing$,且该迹上的其他节点都不在$Z$中。

d-分离： 如果$X,Y,Z$是贝叶斯网络的三个互不相交的节点子集，且在给定$Z$的条件下，对任意节点$X \in X$ 和$Y \in Y$之间都不存在有效迹，那么称$X$和$Y$在给定$Z$时是d-分离的或称被$Z$d-分离。其中$Z$称为分离子集。

d-分离定理: 如果$X,Y$被$Z$d-分离，那么在给定$Z$的条件下，$X$和$Y$一定是相互独立的。这个条件被称为贝叶斯网络的全局马尔科夫独立性。

解释消除: 本来相互独立的多个原因在给定观测结果时，可能不再相互独立，而且变的相互依赖，相互影响，甚至一种原因的出现可以排除另一种原因出现的可能

预告

概率无向图模型