关于Noise and Error主题的一些小知识

(一)Noise会不会对VC bound产生影响?

答案是不会。

当信号中加入了Noise,其实对我们之前学过的内容不产生任何本质上的影响。

之前《机器学习真的起作用吗?》中的分析是基于:training dataset D的来源是:(x,f(x))。其中x从服从某一概率分布P。

现在noise对数据产生了什么影响?之前,f(x)是确定的。现在f(x)不确定了。因为Noise的存在会影响f(x)的值。此时y更像是服从某一概率分布。但是抽样的一瞬间,y是确定的值。我们要估计的就是抽样这一瞬间,整体中的x和y。

如上,根本不影响我们的理论分析。

(二)err与err’

根据之前我们的学习,我们知道,Learning Algorithm A的一个重要的原则是:使得Ein很小(即选择的g在inside D上犯的错误很小)。

g在D上犯得错误记作err。

同时我们知道,错误的评估函数也是A的重要组成部分,记作err’。

理论上来说:err’=err.

但是在实际中很难实现,我们甚至无法准确地描述err是什么样子的。又或者err非常不利于计算。

通常情况下,我们使用不同于err的err’作为A的key part。

上面这个流程图是一个机器学习的基本流程:其中我们使用err’进行学习,使用真正的err进行评估。

时间: 2024-11-01 11:08:44

关于Noise and Error主题的一些小知识的相关文章

Linux 小知识翻译 - 「日志」(log)

这次聊聊「日志」. 「日志」主要指系统或者软件留下的「记录」.出自表示「航海日志」的「logbook」. 经常听说「出现问题的时候,或者程序没有安装自己预期的来运行的时候,请看看日志!」. 确实,记录了系统和软件详细运行情况的「日志」是信息的宝库,通过日志来解决问题的事例也非常多. 但事实上,「无论如何也不会看日志」的用户也有很多.理由很简单,日志的信息量非常大,全部用眼睛来看的话是非常吃力的. 而且,英语写的日志也会让英文不好的人敬而远之. 虽说「要养成用眼睛来看日志的习惯」,但实行起来却非常

C++ 中有关const引用的一点小知识

在读<C++ Primer>时,发现之前对const的概念不是很清晰,只知道如何去使用,于是翻开const引用部分又阅读了一遍,发现有两点自己要注意的地方 1.const限定的对象不可以初始化非const引用 ex. 1 const int src = 512; 2 const int &ok_dest = src; //ok: 引用和初始化对象都是const 3 int &err_dest = src; //error : 引用为非const 原因很简单, src 是不可以被

excel 小知识-------第一章

如何修改excel默认的字体: office 2007方式:  "页面布局"----"主题"------"有文字的那个按钮"如下图所示: 2.设置 表格边框 方式: 在"单元格"点击"右键"---"设置单元格格式"-----"边框"如下图所示: 3. excel 小知识-------第一章,布布扣,bubuko.com

学习javascript总结下来的性能优化的小知识(二)

上面一篇文章大致介绍了一些javascript当中使用的一些小技巧,当下这篇文章继续介绍一下内存管理.松散耦合.性能方面的一些小知识.为避免错误应该注意的点 内存管理 1.循环引用 如果循环引用中包含DOM对象或者ActiveX对象,那么就会发生内存泄露.内存泄露的后果是在浏览器关闭前,即使是刷新页面,这部分内存不会被浏览器释放. 简单的循环引用: var el = document.getElementById('MyElement'); var func = function () { //

一点优化小知识

一直在学优化,在这过程中发现了建站的不少小知识哦,是不是大神们一直都知道啊.我换要努力学习呀 今天就谈一点关键字的小知识吧 一般页面关键字过多过少都不利于优化.页面两三个关键字就可以,小页面关键字出现两三次,打野面关键字出现四五次.这个看你怎样决定.一般文章也不用特别的在意关键字多少,顺理成章的写完一篇文章,关键字肯定会有展现,最好在文章前50--100字里关键字有体现.对于最后一点没有实践,其实想想,这就像写文章,开头好几百字看完了不知道主题是什么,这篇文章的阅读量肯定不咋样啊.关键字最好写在

Linux 小知识翻译 - 「TCP/IP」

上次说了「协议」相关的话题,这次专门说说「TCP/IP」协议. 这里的主题是「TCP/IP」到底是什么?但并不是要说明「TCP/IP」是什么东西,重点是「TCP/IP」究竟有什么意义,在哪里使用「TCP/IP」.这正是之前没有提到的内容. TCP或IP,根据上次的介绍,都是协议,也就是通信时的规则.但是,「TCP/IP」很容易被误解,因为TCP/IP并不是单独的一个协议,而是一系列协议的集合,目前是作为互联网的标准被使用的. 上次也说了,单独一个协议是没法完成通信的.只有多个协议一起使用,才能完

运维小知识之nginx---nginx配置Jboss集群负载均衡

codyl 2016-01-26 00:53:00 浏览385 评论0 负载均衡 转自 运维小知识之nginx---nginx配置Jboss集群负载均衡-博客-云栖社区-阿里云https://yq.aliyun.com/articles/17925 运维小知识之nginx---nginx配置Jboss集群负载均衡 背景 紧接着上一篇博客<运维小知识---CentOS6.5安装nginx配置nginx sticky>安装完成之后剩下的工作就是配置了,其实如果我们想要去做负载均衡session共享

ios开发小知识2

http://blog.sina.com.cn/s/blog_66450b500102vadq.html http://www.cnblogs.com/lovesmile/archive/2012/06/27/2565569.html ios开发小知识2(转自cc) 退回输入键盘  - (BOOL)textFieldShouldReturn:(id)textField{    [textField resignFirstResponder];} CGRectCGRect frame = CGRe

反射小知识 【方法篇】

reflect_method html,body,div,span,applet,object,iframe,h1,h2,h3,h4,h5,h6,p,blockquote,pre,a,abbr,acronym,address,big,cite,code,del,dfn,em,img,ins,kbd,q,s,samp,small,strike,strong,sub,sup,tt,var,b,u,i,center,dl,dt,dd,ol,ul,li,fieldset,form,label,legen