【Course】Machine learning:Week 2-Lecture1-Gradient Descent For Multiple Variables

Gradient Descent For Multiple Variables

问题提出:Week2的梯度下降问题由单一变量转变成了多变量:

相应的公式如下:

梯度下降算法

\[
\begin{array}{l}{\text { repeat until convergence: }\{} \\ {\theta_{j}:=\theta_{j}-\alpha \frac{1}{m} \sum_{i=1}^{m}\left(h \theta\left(x^{(i)}\right)-y^{(i)}\right) \cdot x_{j}^{(i)} \quad \text { for } j:=0 \ldots n} \\ {\}}\end{array}
\]
也就是:
\[
\begin{array}{l}{\text { repeat until convergence: }\{} \\ {\theta_{0}:=\theta_{0}-\alpha \frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) \cdot x_{0}^{(i)}} \\ {\theta_{1}:=\theta_{1}-\alpha \frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) \cdot x_{1}^{(i)}} \\ {\theta_{2}:=\theta_{2}-\alpha \frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) \cdot x_{2}^{(i)}} \\ {\cdots} \\ {\}^{\cdots}}\end{array}
\]
\(\theta_{0}\)、\(\theta_{1}\)、\(\theta_{2}\)...这些参数要同时更新

原文地址:https://www.cnblogs.com/Ireland/p/12337580.html

时间: 2024-10-18 02:59:59

【Course】Machine learning:Week 2-Lecture1-Gradient Descent For Multiple Variables的相关文章

【Stanford Open Courses】Machine Learning:Linear Regression with One Variable (Week 1)

从Ⅱ到Ⅳ都在讲的是线性回归,其中第Ⅱ章讲得是简单线性回归(simple linear regression, SLR)(单变量),第Ⅲ章讲的是线代基础,第Ⅳ章讲的是多元回归(大于一个自变量). 本文的目的主要是对Ⅱ章中出现的一些算法进行实现,适合的人群为已经看完本章节Stanford课程的学者.本人只是一名初学者,尽可能以白话的方式来说明问题.不足之处,还请指正. 在开始讨论具体步骤之前,首先给出简要的思维路线: 1.拥有一个点集,为了得到一条最佳拟合的直线: 2.通过"最小二乘法"来

【MATLAB】Machine Learning (Coursera Courses Outline & Schedule)

课程涉及技术: 梯度下降.线性回归.监督/非监督学习.分类/逻辑回归.正则化.神经网络.梯度检验/数值计算.模型选择/诊断.学习曲线.评估度量.SVM.K-Means聚类.PCA.Map Reduce & Data Parallelism 等- 课程涉及应用: 邮件分类.肿瘤诊断.手写识别.自动驾驶.模型优化.OCR等- Coursera machine learning course materials, including problem sets and my solutions (usi

【转载】Machine Learning CMSC 422 Spring 2013

Machine LearningCMSC 422Spring 2013 Schedule: MWF 4:00pm-4:50pm Location: CSIC 2117 Instructor: Hal Daume III:  Office Hours: AVW 3227; Fri 2:45-3:45 or by appointment Piazza: UMD/cs422 TAs: Phil Dasler (office hours: Thr 2:00-3:00 in TA room)   Josh

[Machine Learning (Andrew NG courses)]IV.Linear Regression with Multiple Variables

【coursera笔记】Machine Learning(Week6)

发现自己不写总结真是件很恶劣的事情,好多学的东西没有自己总结都忘记了.所以决定从今天开始,学东西的时候一定跟上总结. 我写的东西大多数是自己通俗的总结,不太喜欢写严格的定义或者证明,写了也记不住,欢迎指正. 1. High Bias vs. High Variance High Bias:通常是因为模型过于简单,使得不能成功拟合数据.比如说一些有二次曲线特性的数据,如果用一次直线去拟合就会出现这个问题,所以它对应了Underfitting问题.另外,从泛化角度来说,这样的模型泛化程度更高. Hi

【资源】Deep learning 资源汇总......

在网上总能发现一些感兴趣的东西,从前是直接转载过来,现在发现太多了,还是汇总url吧.积累,慢慢开始...... 1. 斯坦福Richard Socher在EMNLP2014发表新作:GloVe: Global Vectors for Word Representation 粗看是融合LSA等算法的想法,利用global word co-occurrence信息提升word vector学习效果,很有意思,在word analogy task上准确率比word2vec提升了11% http://

【Linux】文件查找:find

Linux下有多种查找文件指令:find.whereis.which和locate. ● which:查看可执行文件的位置 ● whereis:查看文件的位置 ● locate:配合数据库查看文件 ● find:实际搜寻硬盘查询 其中find是最常用和最强大的查找命令.它能做到实时查找,精确查找,但速度慢.下面主要对find指令相关用法进行详细介绍. ●●●find指令: [格式]find  [指定查找目录]  [查找规则]  [查找完后执行的action] 默认路径为当前目录:默认表达式为 -

【学术报告】【2015-05-08】Big Data:A Practitioner's Perspective

应本科母校数计学院院长陈明玉老师的邀请,下周五(2015年5月8日),将回泉州师范学院作一个学术报告,对大数据相关的技术.应用.八卦作一个相对全面和完整的介绍. 希望感兴趣的老师和同学们参加.以下是相关poster. [学术报告][2015-05-08]Big Data:A Practitioner's Perspective

【C#】编程点滴:关于Static的思考

在ADO.NET数据访问层我们通常会将数据库连接字符串写成这样private static readonly string _conStr = "server=.;database=Product;uid=sa;pwd=sa";.这样的情况很多,比如单例模式.可能是出于约定俗成吧,也可能是习惯了"海淘"人家的,很多东西也没深入去考虑为什么要这样写(说我自己).或许是看人家都这么写.那么为什么要用static来修饰?为什么还要加上readonly?又为什么说静态的是线