《The Elements of Statistical Learning》 chp3 Linear Models for Regression

  • 3.1    线性回归模型假定 回归函数E(Y|X)与输入X1,...,Xp是线性关系。 ## 可以扩展到与 输入的变换 是线性关系，这种扩展叫做 basis-function methods（基函数方法） ，在Chp5 中讨论。
  • 3.2    输入变量可以是 1.输入的Xj  2.输入的变换，如取对数、开方等  3. basis expansions，如X2=X1的平方，X3=X1的三次方，变成了多项式表示  4. dummy coding  5.interaction between variables，比如：X3=X1*X2。  ## 总之，模型关于参数是线性的。   ##   RSS(the residual sum of squares) ##   最小二乘的预测y-hat 是y在输入X生成的列空间上的正交投影  ##若X的列不是相互独立的，软件可以将某些列删掉 ##  Rank deficiencies 输入变量p大于训练样本数  ##参数估计值Beta-hat的方差 ##对单个系数进行假设检验，t检验&对多个系数进行显著性检验，F检验     null hypothesis指零假设、原假设  ##  Example: Prostate Cancer，base error rate                                                                                                                                                                                                                             ##the Gauss-Markov Theorm，最小二乘估计出的Beta在所有线性无偏估计中有最小的方差，而ridge regression 是有偏估计。但是可能存在有偏估计量有更小的方差，bias-variance tradeoff。比如：将最小二乘中一些系数设置为0可能会得到一个有偏估计。
时间： 2024-07-28 12:41:40

《The Elements of Statistical Learning》 chp3 Linear Models for Regression的相关文章

?统计学习精要(The Elements of Statistical Learning)?课堂笔记（三）

照例文章第一段跑题,先附上个段子(转载的哦~): I hate CS people. They don't know linear algebra but want to teach projective geometry. They don't know any probability but want to use graphical models. They don't understand stats at all but still do machine learning like c

?统计学习精要(The Elements of Statistical Learning)?课堂笔记（一）

前两天微博上转出来的,复旦计算机学院的吴立德吴老师在开?统计学习精要(The Elements of Statistical Learning)?这门课,还在张江...大牛的课怎能错过,果断请假去蹭课...为了减轻心理压力,还拉了一帮同事一起去听,eBay浩浩荡荡的十几人杀过去好不壮观!总感觉我们的人有超过复旦本身学生的阵势,五六十人的教室坐的满满当当,壮观啊. 这本书正好前阵子一直在看,所以才会屁颠屁颠的跑过去听.确实是一本深入浅出讲data mining models的好书.作者网站上提供免

?统计学习精要(The Elements of Statistical Learning)?课堂笔记（二）

继续一周一次的课堂笔记 :D 昨天去晚了站着听讲,感觉好好啊,注意各种集中.想想整个教室里面就是我和老师是站着的,自豪感油然而生. 第二次课讲的东西依旧比较简单,是这本书第二章的前半部分.作为一个好久之前已经预习过的孩子,我表示万分的得意(最小二乘法难道不是三四年前就学过的?话说以后我再面人的时候,就让他推导最小二乘估计量,嘻嘻...考验一下基本功). ------------原谅我的废话,笔记开始------------ 简单预测方法:最小二乘法(以下沿用计量经济学的习惯,简称OLS) OLS

More 3D Graphics (rgl) for Classification with Local Logistic Regression and Kernel Density Estimates (from The Elements of Statistical Learning)（转）

This post builds on a previous post, but can be read and understood independently. As part of my course on statistical learning, we created 3D graphics to foster a more intuitive understanding of the various methods that are used to relax the assumpt

《Neural networks and deep learning》概览

最近阅读了<Neural networks and deep learning>这本书(online book,还没出版),算是读得比较仔细,前面几章涉及的内容比较简单,我着重看了第三章<Improving the way neural networks learn>,涉及深度神经网络优化和训练的各种技术,对第三章做了详细的笔记(同时参考了其他资料,以后读到其他相关的论文资料也会补充或更改),欢迎有阅读这本书的同学一起交流.以下属个人理解,如有错误请指正. What this bo

?统计学习精要(The Elements of Statistical Learning)?课堂笔记（四）

照例继续本周笔记.这次我没啥废话了... --------------笔记开始--------------- 投影矩阵与消灭矩阵 首先是上次没证的若干OLS性质.基本都是公式.我就照抄原来econometrics做的笔记了.权当复习了...对计量有兴趣的.线性代数还不错的,建议去看<Microeconometrics- Methods and Applications>(?A. Colin Cameron / Pravin K. Trivedi ). 先定义两个矩阵,这两个矩阵会在某种程度上s

《Fast Traking via Spatio-Temporal Context Learning》要点整理与代码实现之二

上一篇主要讲解了全文的主要思想,整理了一些可能会被忽略的重点,并画了程序的主流程图,但这个流程图只是一个战略性的总图,较为宏观,而程序在实现时还有一些细节上的预处理也很重要,本篇将总结这些小细节. 视频信号是一组随时间变化的动态信号(二维),引述<图像处理.分析与机器视觉>一书第3.2.3节中的一段话:持续时间短的或变化快的时间信号具有宽的频谱.如果我们要处理非静态信号(non-stationary signal),一种选择是将其分解为小片段(常称作窗口),并假定这些窗口外信号是周期性的.这种

《Deep Learning》（深度学习）中文版 开发下载

<Deep Learning>(深度学习)中文版开放下载   <Deep Learning>(深度学习)是一本皆在帮助学生和从业人员进入机器学习领域的教科书,以开源的形式免费在网络上提供, 这本书是由学界领军人物 Ian Goodfellow.Yoshua Bengio 和 Aaron Courville 合力打造. 书籍原版英文目录: Deep Learning Table of Contents Acknowledgements Notation 1 Introduction

《Machine Learning》系列学习笔记之第一周

<Machine Learning>系列学习笔记 第一周 第一部分 Introduction The definition of machine learning (1)older, informal definition--Arthur Samuel--"the field of study that gives computers the ability to learn without being explicitly programmed." (2)modern d