• 对每个随机变量引入一个节点,然后为每个节点关联上式右侧对应的条件概率。

      • 对于每个条件概率分布,在图中添加一个链接(箭头):箭头的起点是条件概率的条件代表的结点。

        对于因子 一、概率图模型 - 图1 ,因为它不是条件概率,因此没有输入的链接。

      • 如果存在一个从结点 到结点 一、概率图模型 - 图2 的链接,则称结点 是结点 一、概率图模型 - 图3 的父节点,结点 是结点 一、概率图模型 - 图4 的子节点。

      • 可以看到,上式的左侧关于随机变量 是对称的,但是右侧不是。

        实际上通过对 一、概率图模型 - 图5 的分解,隐式的选择了一个特定的顺序(即 )。如果选择一个不同的顺序,则得到一个不同的分解方式,因此也就得到一个不同的图的表现形式。

    1. 对于 一、概率图模型 - 图6 个随机变量的联合概率分布,有:

      • 它对应于一个具有 一、概率图模型 - 图7 个结点的有向图。

        • 每个结点的输入链接包含了所有的编号低于它的结点。
      • 这个有向图是全链接的,因为每对结点之间都存在一个链接。

        实际应用中,真正有意义的信息是图中的链接的缺失,因为:

        • 全链接的计算量太大。
        • 链接的缺失代表了某些随机变量之间的不相关或者条件不相关。
      • 设节点 的父节点集合为 一、概率图模型 - 图8,则所有随机变量的联合概率分布为:

    2. 可以证明:如果上式右侧的每一个条件概率分布都是归一化的,则这个表示方法整体总是归一化的。

    3. 概率图模型 就是一类用图来表达随机变量相关关系的概率模型:

      • 结点之间的边表示变量间的概率相关关系。

      概率图描述了:联合概率分布在所有随机变量上能够分解为一组因子的乘积的形式,而每个因子只依赖于随机变量的一个子集。

    4. 根据边的性质不同,概率图模型可以大致分为两类:

      • 使用有向无环图表示随机变量间的依赖关系,称作有向图模型或者贝叶斯网络。

        有向图对于表达随机变量之间的因果关系很有用。

      • 使用无向图表示随机变量间的相关关系,称作无向图模型或者马尔可夫网络 。

    5. 概率图模型的优点:

      • 提供了一个简单的方式将概率模型的结构可视化。
      • 通过观察图形,可以更深刻的认识模型的性质,包括条件独立性。