监督学习假设输入 与标记 遵循联合概率分布 ,训练数据和测试数据依联合概率分布 独立同分布产生。
学习过程中,假定这个联合概率分布存在,但是具体定义未知。
监督学习的目的在于学习一个由输入到输出的映射,该映射由模型表示。
模型属于由输入空间到输出空间的映射的集合,该集合就是解空间。解空间的确定意味着学习范围的确定。
-
- 概率模型由条件概率分布 表示。
监督学习分为学习和预测两个过程。
给定训练集 ,其中 为输入值, 是标记值。假设训练数据与测试数据是依据联合概率分布 独立同分布的产生的。
学习过程:在给定的训练集 上,通过学习训练得到一个模型。该模型表示为条件概率分布 或者决策函数
预测过程:对给定的测试样本 ,给出其预测结果:
- 对于概率模型,其预测值为:
- 对于非概率模型,其预测值为:
-
- 首先求解无监督学习问题来学习联合概率分布
2.2 生成模型和判别模型
监督学习又分为生成方法和判别方法,所用到的模型分别称为生成模型和判别模型。
生成方法 :通过数据学习联合概率分布 ,然后求出条件概率分布 作为预测的模型。
即生成模型为:
- 生成方法的优点:能还原联合概率分布 ,收敛速度快,且当存在隐变量时只能用生成方法。
- 生成方法有:朴素贝叶斯法,隐马尔可夫链。
-
- 判别方法的优点:直接预测,一般准确率更高,且一般比较简化问题。
- 判别方法有:逻辑回归,决策树。