概率图模型（PGM） —— 贝叶斯网络（Bayesian Network）

概率图模型是图论与概率方法的结合产物。Probabilistic graphical models are a joint probability distribution defined over a graph，概率图模型是定义在一副图上的联合概率分布（joint probability distribution）。

图模型分为两种：

• 有向图（directed graphs）：bayesian networks
• 无向图（undirected graphs）：Markov random fields

1. 定义

贝叶斯网络定义：

• DAG（Directed Acyclic Graph）：有向无环图；
• 结点 (X1,X2,…,Xn) 表示的是随机变量（random variables）；
• 网络中的每一个结点 Xi，都有条件概率分布，P(Xi∣∣ParG(Xi))
  
  • ParG(Xi)：表示的是 Xi 在网络中的父节点；
• 贝叶斯网络最终刻画的是结点所代表的随机变量的联合概率密度（joint distribution）
  
  P(X1,…,Xn)=∏iP(Xi∣∣ParG(Xi))

Probabilistic graphical models are a joint probability distribution defined over a graph，概率图模型是定义在一副图上的联合概率分布（joint probability distribution）。如下图所示：

也即此贝叶斯网络表示了如下的联合概率分布：

p(Lo,Li,S)=P(Lo)P(Li|Lo)P(S|Lo)

2. 贝叶斯网对应的“分布”

贝叶斯网络对应的“分布”是一种合法的概率分布（legal distribution），也即需满足

• Pi≥0：显然成立

• ∑Pi=1

  需要证明，比如这样一个简单的例子，应用链式法则（chain rule），展开得：

  ∑D,I,G,S,LP(D,I,G,S,L)======∑D,I,G,S,LP(D)P(I)P(G|I,D)P(S|I)P(L|G)∑D,I,G,SP(D)P(I)P(G|I,D)P(S|I)∑LP(L|G)∑D,I,G,SP(D)P(I)P(G|I,D)P(S|I)⋅1∑D,I,GP(D)P(I)P(G|I,D)∑SP(S|I)1⋯1
  • ∑LP(L|S)=1，这是 CPD（conditional probability distribution）的性质（也即对条件概率分布的一行进行求和）；