• 观察值之间严格独立。
      • 状态转移过程中,当前状态仅依赖于前一个状态(一阶马尔科夫模型)。

      如果放松第一个基本假设,则得到最大熵马尔科夫模型MEMM

    1. 最大熵马尔科夫模型并不通过联合概率建模,而是学习条件概率 。

      它刻画的是:在当前观察值 三、 最大熵马尔科夫模型MEMM - 图1 和前一个状态 的条件下,当前状态 三、 最大熵马尔科夫模型MEMM - 图2 的概率。

    2. MEMM 的参数学习使用最大熵中介绍的算法或者拟牛顿法,解码任务使用维特比算法。

    3. 标注偏置问题:

      如下图所示,通过维特比算法解码得到:

      三、 最大熵马尔科夫模型MEMM - 图3

      可以看到:维特比算法得到的最优路径为 。

      bias

      • 而维特比算法得到的最优路径全部停留在状态 1 ,这样与实际不符。

      • MEMM倾向于选择拥有更少转移的状态,这就是标记偏置问题。