(一)Noise会不会对VC bound产生影响?
答案是不会。
当信号中加入了Noise,其实对我们之前学过的内容不产生任何本质上的影响。
之前《机器学习真的起作用吗?》中的分析是基于:training dataset D的来源是:(x,f(x))。其中x从服从某一概率分布P。
现在noise对数据产生了什么影响?之前,f(x)是确定的。现在f(x)不确定了。因为Noise的存在会影响f(x)的值。此时y更像是服从某一概率分布。但是抽样的一瞬间,y是确定的值。我们要估计的就是抽样这一瞬间,整体中的x和y。
如上,根本不影响我们的理论分析。
(二)err与err’
根据之前我们的学习,我们知道,Learning Algorithm A的一个重要的原则是:使得Ein很小(即选择的g在inside D上犯的错误很小)。
g在D上犯得错误记作err。
同时我们知道,错误的评估函数也是A的重要组成部分,记作err’。
理论上来说:err’=err.
但是在实际中很难实现,我们甚至无法准确地描述err是什么样子的。又或者err非常不利于计算。
通常情况下,我们使用不同于err的err’作为A的key part。
上面这个流程图是一个机器学习的基本流程:其中我们使用err’进行学习,使用真正的err进行评估。
时间: 2024-11-01 11:08:44