机器学习(2)之线性回归

机器学习(2)之线性回归

上一章介绍了梯度下降算法的线性回归,本章将介绍另外一种线性回归,它是利用矩阵求导的方式来实现梯度下降算法一样的效果。

1. 矩阵的求导

首先定义表示m×n的矩阵,那么对该矩阵进行求导可以用下式表示,可以看出求导后的矩阵仍然为m×n

这里要用到矩阵迹的特性,trace. 对于一个n阶的方阵(n×n),它的迹(tr)为对角线元素之和:

1. 对于一个实数,它的迹即为它本身

tr a = a

2. 如果AB是一个方阵,那么

tr AB = tr BA

3. 由此可推导出

trABC = trCAB = trBCA

trABCD = trDABC = trCDAB = trBCDA

4. 假设A 和 B为方阵,a为实数,那么又可以推导出以下的特性:

trA = trAT

tr(A + B) = trA + trB

tr aA = atrA

5.对迹进行求导,具有以下特性:

2. Least squares revisited

现在就可以利用1中矩阵求导的相关知识来重新求解线性回归问题。

假设训练样本:

定义目标集合:

因为,所以

又因为,根据最小二乘规则,代价函数可以写成:

对J(θ)进行求导:

上述推导使用了第1部分的特性。

miniminzes J(θ) 即

时间: 2024-10-07 12:08:18

机器学习(2)之线性回归的相关文章

机器学习入门:线性回归及梯度下降

机器学习入门:线性回归及梯度下降 本文会讲到: (1)线性回归的定义 (2)单变量线性回归 (3)cost function:评价线性回归是否拟合训练集的方法 (4)梯度下降:解决线性回归的方法之一 (5)feature scaling:加快梯度下降执行速度的方法 (6)多变量线性回归   Linear Regression 注意一句话:多变量线性回归之前必须要Feature Scaling! 方法:线性回归属于监督学习,因此方法和监督学习应该是一样的,先给定一个训练集,根据这个训练集学习出一个

机器学习入门实践——线性回归&非线性回归&mnist手写体识别

把一本<白话深度学习与tensorflow>给啃完了,了解了一下基本的BP网络,CNN,RNN这些.感觉实际上算法本身不是特别的深奥难懂,最简单的BP网络基本上学完微积分和概率论就能搞懂,CNN引入的卷积,池化等也是数字图像处理中比较成熟的理论,RNN使用的数学工具相对而言比较高深一些,需要再深入消化消化,最近也在啃白皮书,争取从数学上把这些理论吃透 当然光学理论不太行,还是得要有一些实践的,下面是三个入门级别的,可以用来辅助对BP网络的理解 环境:win10 WSL ubuntu 18.04

机器学习之多变量线性回归(Linear Regression with multiple variables)

1. Multiple features(多维特征) 在机器学习之单变量线性回归(Linear Regression with One Variable)我们提到过的线性回归中,我们只有一个单一特征量(变量)--房屋面积x.我们希望使用这个特征量来预测房子的价格.我们的假设在下图中用蓝线划出: 不妨思考一下,如果我们不仅仅知道房屋面积(作为预测房屋价格的特征量(变量)),我们还知道卧室的数量.楼层的数量以及房屋的使用年限,那么这就给了我们更多可以用来预测房屋价格的信息. 即,支持多变量的假设为:

从统计看机器学习(一) 一元线性回归

从统计学的角度来看,机器学习大多的方法是统计学中分类与回归的方法向工程领域的推广. “回归”(Regression)一词的滥觞是英国科学家Francis Galton(1822-1911)在1886年的论文[1]研究孩子身高与父母身高之间的关系.观察1087对夫妇后,得出成年儿子身高=33.73+0.516*父母平均身高(以英寸为单位).他发现孩子的身高与父母的身高相比更加温和:如果父母均非常高,那么孩子身高更倾向于很高但比父母矮:如果父母均非常矮,那么孩子身高更倾向于很矮但比父母高.这个发现被

机器学习知识体系 - 线性回归

机器学习 什么是机器学习?业界有如下定义: ? ArthurSamuel(1959).MachineLearning:Fieldof study that gives computers the ability to learn without being explicitly programmed. ? TomMitchell(1998)Well-posed Learning Problem: A computer program is said to learn from experienc

机器学习:多变量线性回归

************************************** 注:本系列博客是博主学习Stanford大学 Andrew Ng 教授的<机器学习>课程笔记.博主深感学过课程后,不进行总结很容易遗忘,根据课程加上自己对不明白问题的补充遂有此系列博客.本系列博客包括线性回归.逻辑回归.神经网络.机器学习的应用和系统设计.支持向量机.聚类.将维.异常检测.推荐系统及大规模机器学习等内容. ************************************** 多变量线性回归 多

机器学习入门三------线性回归

线性回归 线性回归是一种找到最适合一组点的直线或超平面的方法.本模块会先直观介绍线性回归,为介绍线性回归的机器学习方法奠定基础. 人们早就知晓,相比凉爽的天气,蟋蟀在较为炎热的天气里鸣叫更为频繁.数十年来,专业和业余昆虫学者已将每分钟的鸣叫声和温度方面的数据编入目录.Ruth 阿姨将她喜爱的蟋蟀数据库作为生日礼物送给您,并邀请您自己利用该数据库训练一个模型,从而预测鸣叫声与温度的关系. 首先建议您将数据绘制成图表,了解下数据的分布情况: 图 1. 每分钟的鸣叫声与温度(摄氏度)的关系. 毫无疑问

机器学习基础——推导线性回归公式

在之前的文章当中,我们介绍过了简单的朴素贝叶斯分类模型,介绍过最小二乘法,所以这期文章我们顺水推舟,来讲讲线性回归模型. 线性回归的本质其实是一种统计学当中的回归分析方法,考察的是自变量和因变量之间的线性关联.后来也许是建模的过程和模型训练的方式和机器学习的理念比较接近,所以近年来,这个模型被归入到了机器学习的领域当中.然而,不管它属于哪个领域,整个模型的思想并没有发生变化.我们只要有所了解即可. 模型概念 线性回归的定义非常简单,它最简单的形式其实就是一元一次方程组.比如,我们有如下式子: \

机器学习笔记-1.线性回归

1. Linear Regression 1.1 Linear Regression with one variable 某个目标量可能由一个或多个变量决定,单变量线性回归就是我们仅考虑一个变量与目标量的关系.例如,我们可以仅考虑房子的面积X与房价y的关系,如下图. 通常将已有的可利用的数据成为data set or training set. 首先我们定义出线性的hypothesis function h,然后定义出cost function J,为了使得假设函数接近或等于实际值,目标是使得函