有些知识还是记录下来比较容易复习。
懂原理, 会使用平台,使用语言实现常见算法。
1.大纲
机器学习的基本概念
机器学习的实质
机器学习方法的三要素
经验风险与结构风险
常见损失函数
一:基本概念
1.机器学习的方法流程
用监督学习为例
首先,有一个输入数据,然后根据这个输入数据做一些特征的加工和整理,基于特征进行模型的训练,去建模,然后做模型评估,得到一个可以接受的模型,然后对模型就行部署,使用模型对业务进行应用。
定期更新模型,对模型生命周期进行维护。
2.输入空间与输出空间
输入空间(input space):将输入的所有可能取值的集合称作输入空间
输出空间(output space):将输出的所有可能取值的集合作为输出空间
输入空间与输出空间可以是有限元素的集合,也可以是欧式空间
输出空间与输出空间可以是连续值的集合,也可以是离散集合
输入空间与输出空间可以是同一个空间
通常,输出空间比输入空间小
3.特征空间
特征:每个输入实例的各个部分称为原始特征,基于特征还可以扩展出衍生特征
特征向量:多个特征组合的集合
特征空间:将特征向量存在的空间称为特征空间
特征空间每一维都对应一个特性
特征空间可以与输入空间相同,也可以不同
需要将实例从输入空间映射到特征空间
模型实际上是定义特征空间之上的
4.输入空间与特征空间
需要将实例从输入空间映射到特征空间
模型实际上是定义特征空间之上的
5.假设空间
由输入空间到输出空间的映射的集合。
监督学习的目的在于学习一个由输入到输出的映射,这一映射由模型来表示。学习的目的就是找到最好的这样的模型。
模型属于输入空间到输出空间的映射集合,这个结合就是假设空间
举例:
二:机器学习方法的三要素
1.三要素
方法=模型+策略+算法
模型:输入空间到输出空间的映射关系,学习过程就是从假设空间中搜索适合当前数据的假设
策略:从假设空间众多 的假设中选择最优模型的学习标准或者规则
算法:学习模型的具体计算方法,通常所以求解最优化问题
模型:确定学习范围
策略:确定学习规则
算法:按照规则在范围内学习
2.模型
分析当前需要解决的问题,确定模型。
3.策略
从假设空间众多假设中选择到最优的模型的学习标准或者规则
选择时,需要解决以下的问题:
评估对单个样本的效果
评估对训练集的整体效果
评估对包括训练集预测集在内的所有数据的整体效果
定义几个指标来衡量:
损失函数:0-1损失函数
风险函数:经验风险,期望风险,结构风险
策略:
经验风险最小EMR
结构风险最小SRM
4.损失函数
用来衡量预测结果与真实结果之间的差距,值越小,越一致
通常是一个非负实值函数
通过各种方式缩小损失函数的过程被称为优化,损失函数记做L(Y,f(x))
常见:
0-1损失函数:预测值与实际值相同是没有损失为0,否是是完全损失,为1。过于严格,一般采用两者的差小于某个阈值的方式。
绝对值损失函数:预测结果与真实结果差的绝对值,简单易懂,但是计算不方便
平方损失函数:预测结果与真实结果差的平方。
优势:
每个差值都是正的,累加不会被抵消
平方对于大误差的惩罚大于小误差
数据计算简单,友好,导数为一次函数
对数损失函数:对数函数具有单调性,在求最优化问题时,结果与原始目标一致,可以将乘法转化为加法,简化计算
指数损失函数:单调性,非负性优良性质,使得越接近正确结果,误差越小
折叶损失函数:也叫铰链损失,对于判定边界附近的点的惩罚力度较高,常见于SVM。
使用场景:
0-1:理想状况模型
log:逻辑回归,交叉熵
squared:线性回归
exponential:AdaBoosting
Hinge:SVM,soft margin
5.经验风险与风险函数
经验风险:损失函数度量了单个样本的预测结果,想要很亮整个训练集的预测值与真实值的差异,将整个训练集所有记录均进行一次预测,求损失函数,将所有的值累加,即为经验风险。
经验风险越小,说明模型对训练集的拟合度越好。
风险函数:又要期望损失,期望风险。所有的数据集的损失函数的期望。
经验风险与期望风险:
期望风险是对全局的效果,经验风险对局部的效果
期望风险往往无法计算,经验风险可以计算
当训练集足够大时,经验风险可以替代期望风险
6.经验风险的的问题
在样本比较小时,仅关注经验风险,容易导致过拟合
7.结构风险
在经验风险的基础上,我们继续解决。
在经验风险的基础上,增加一个正则化项(Regularizer)或者为惩罚项(Penalty Term)。
结构风险与经验风险:
经验风险越小,模型决策函数越复杂,包含的参数越多
当经验风险函数小到一定程度就出现过拟合
防止过拟合的方式,就是降低决策函数的复杂度,让惩罚项最小化
需要同时保证经验风险函数与模型决策函数的复杂度都达到最小化
把两个式子融合得到结构风险函数,然后对这个结构风险函数进行最小化
8.范数
3.
原文地址:https://www.cnblogs.com/juncaoit/p/10387272.html