PGM：部分观测数据

http://blog.csdn.net/pipisorry/article/details/52599451

基础知识

数据缺失的三种情形：

数据的似然和观测模型

Note: MLE中是将联合概率P(x,y)赋值给实例。

缺失数据的处理：不仅考虑数据产生机制，还要考虑数据被隐藏的机制

随机缺失值：主要是修改投掷结果X（随机变量）吧？

蓄意缺失值：主要是修改观测变量O吧？

随机变量X、观测变量O和实际观测Y

Note: Y是定义的X和O的一个确定函数，不在plate图中显示出来。

图钉变体示例的观测模型

随机缺失：分别最大化似然和观测

上下文特定独立性

蓄意缺失：投掷结果随机变量和蓄意抛弃共同的结果

观测机制的解耦

解耦的含义就是我们可以最大化X的分布的参数的似然，而不用考虑控制Ox分布的参数的值。通常，我们只对前面的参数感兴趣，所以可以简单的忽略后面的参数。

例19.1

完全随机缺失MCAR

随机缺失MAR的条件独立性参数解耦

Note: 第一枚硬币Ox1总是能观察到的，其概率为1。

缺失数据模型Pmissing：事件层面上的MAR条件独立假设

一句话：这个假设就是给定Xobs时，事件Ox和Xhidden独立。也就是说，隐不隐藏和是不是人为改变观测变量O无关？

MAR假设允许学习参数时忽略观测模型

如果Pmissing满足上面的假设则：（xobs和o的联合分布）

MAR假设下的定理

MAR适用场合

似然函数

缺失数据的似然函数表示

似然函数学习的示例

完备数据的似然

不完备数据似然的计算：考虑缺失数据的所有情况，并将其对应的似然相加。而可能赋值的数目是缺失值总量的指数。

不完备数据的多峰似然函数

几何分析：失去参数独立性质，因此也失去了似然函数可分解的性质。

图模型定性分析

数值分析

这个也可以从图19.4看出，当X缺失时，观测到Y，这样Y的两个参数父节点就是相关的？

这个例子说明，在估计CPD P(Y|X)时，我们已经缺失了局部可分解性。

不同CPD间的全局可分解性

Note: 如果是完备数据，这里应该求解的是P(x, y, h)的联合概率分布，没有和式，只有三者（三个局部似然函数）乘积。而存在隐含变量时，应该使用和式将隐含变量积掉。

一般的情况示例

在下面的参数估计中再解决这个不完备数据的参数推断。

可识别性

。。。

皮皮blog

使用不完备数据的最大似然估计MLE

使用不完备数据的贝叶斯学习

[PGM：不完备数据的参数估计]

结构学习

结构得分

结构搜索

结构EM

皮皮blog

带有隐变量的学习模型

隐变量的信息内容

确定基数

引入隐变量

皮皮blog

from: http://blog.csdn.net/pipisorry/article/details/52599451

ref: