1. 其中 三、EM算法与高斯混合模型 - 图1 是系数,满足 :

      • 三、EM算法与高斯混合模型 - 图2 是高斯分布密度函数,称作第 个分模型, 三、EM算法与高斯混合模型 - 图3

    2. 如果用其他的概率分布密度函数代替上式中的高斯分布密度函数,则称为一般混合模型。

    3.2 参数估计

    1. 假设观察数据 三、EM算法与高斯混合模型 - 图4 由高斯混合模型 生成,其中 三、EM算法与高斯混合模型 - 图5

      可以通过算法估计高斯混合模型的参数 。

    2. 完全数据的对数似然函数为:

      三、EM算法与高斯混合模型 - 图6

      其对数为:

      三、EM算法与高斯混合模型 - 图7

      即:。

      三、EM算法与高斯混合模型 - 图8 函数为:

      求极大值:三、EM算法与高斯混合模型 - 图9

      根据偏导数为 0,以及 得到:

      • 三、EM算法与高斯混合模型 - 图10

        其中: 三、EM算法与高斯混合模型 - 图11 ,其物理意义为:所有的观测数据 中,产生自第 三、EM算法与高斯混合模型 - 图12 个分模型的观测数据的数量。

      • 三、EM算法与高斯混合模型 - 图13

        其中: ,其物理意义为:所有的观测数据 三、EM算法与高斯混合模型 - 图14 中,产生自第 个分模型的观测数据的总和。

      • 三、EM算法与高斯混合模型 - 图15

        其中: ,其物理意义为:所有的观测数据 三、EM算法与高斯混合模型 - 图16 中,产生自第 个分模型的观测数据,偏离第 三、EM算法与高斯混合模型 - 图17 个模型的均值( )的平方和。

    3. 高斯混合模型参数估计的算法:

      • 输出:高斯混合模型参数 三、EM算法与高斯混合模型 - 图18

      • 算法步骤:

        • 随机初始化参数 。

        • 根据 三、EM算法与高斯混合模型 - 图19 迭代求解 ,停止条件为:对数似然函数值或者参数估计值收敛。

          三、EM算法与高斯混合模型 - 图20

          其中:

          • 其物理意义为:所有的观测数据 三、EM算法与高斯混合模型 - 图21 中,产生自第 个分模型的观测数据的数量。

          • 其物理意义为:所有的观测数据 三、EM算法与高斯混合模型 - 图22 中,产生自第 个分模型的观测数据,偏离第 三、EM算法与高斯混合模型 - 图23 个模型的均值( )的平方和。