【原】Coursera—Andrew Ng机器学习—Week 10 习题—大规模机器学习

【1】大规模数据

【2】随机梯度下降

【3】小批量梯度下降

【4】随机梯度下降的收敛

Answer：BD

A 错误。学习率太小，算法容易很慢

B 正确。学习率小，效果更好

C 错误。应该是确定阈值吧

D 正确。曲线不下降，说明学习率选的太大

【5】在线学习

【6】

Answer：BC

A 错误。随机梯度下降，J(θ)不一定每次都减小

D 错误。随机梯度下降适合大数据量任务

Answer：CD

A 错误。

B 错误。不是因为使用parallelizaion

Answer：AD

B 错误。不需要保存每次的结果

C 错误。online learning不适合固定的m

Answer：BC

AD 错误。随机梯度下降的不适合

Answer：AB

Answer：ACD

B 错误。不一定获得N倍的速度

Answer：ABC

D 错误。神经网络也可以使用map-reduce

原文地址：https://www.cnblogs.com/maxiaodoubao/p/10181723.html

时间： 2024-10-14 20:48:33

【原】Coursera—Andrew Ng机器学习—Week 10 习题—大规模机器学习的相关文章

机器学习公开课笔记(10)：大规模机器学习

批梯度下降 (Batch Gradient Descent) 以线性回归为例,用梯度下降算法进行参数更新的公式为$$\theta_j=\theta_j-\alpha\frac{1}{m}\sum\limits_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$$可以看到每次参数更新一次,都需要将整个训练集扫描一遍,所以称为批梯度下降,这种更新方式对于参数集很大的集合(例如m=100,000,000)运行速度十分慢,为了加快算法运行速度,提出了随机梯度下降

【原】Andrew Ng斯坦福机器学习Coursera 选择填空

Week 2 Gradient Descent for Multiple Variables [1]多变量线性模型代价函数 Answer:AB [2]Feature Scaling 特征缩放 Answer:D [] Answer: [] Answer: [] Answer: [] Answer: [] Answer: [] Answer: [] Answer: [] Answer: [] Answer: [] Answer: [] Answer: [] Answer: [] Answer:

Stanford coursera Andrew Ng 机器学习课程编程作业（Exercise 2）及总结

Exercise 1:Linear Regression---实现一个线性回归关于如何实现一个线性回归,请参考:http://www.cnblogs.com/hapjin/p/6079012.html Exercise 2:Logistic Regression---实现一个逻辑回归问题描述:用逻辑回归根据学生的考试成绩来判断该学生是否可以入学. 这里的训练数据(training instance)是学生的两次考试成绩,以及TA是否能够入学的决定(y=0表示成绩不合格,不予录取:y=1表示录

【原】Andrew Ng斯坦福机器学习（6）——Lecture 6_Logistic Regression

Lecture6 Logistic Regression 逻辑回归 6.1 分类问题 Classification6.2 假设表示 Hypothesis Representation6.3 决策边界 Decision Boundary6.4 代价函数 Cost Function6.5 简化的代价函数和梯度下降 Simplified Cost Function and Gradient Descent6.6 高级优化 Advanced Optimization6.7 多类别分类:一对多 Mult

Stanford coursera Andrew Ng 机器学习课程第二周总结（附Exercise 1）

Exercise 1:Linear Regression---实现一个线性回归重要公式 1.h(θ)函数 2.J(θ)函数思考一下,在matlab里面怎么表达?如下: 原理如下:(如果你懂了这道作业题,上面的也就懂了) 下面通过图形方式感受一下代价函数 : 3.θ迭代过程(梯度下降) First way:批梯度下降:(编程作业使用这个公式,sum转换同理J(θ)) Second way:随机梯度下降: 好比我们下山,每次在一点环顾四周,往最陡峭的路向下走,用图形的方式更形象的表示 : 4.θ

Stanford coursera Andrew Ng 机器学习课程第四周总结（附Exercise 3）

Introduction Neural NetWork的由来先考虑一个非线性分类,当特征数很少时,逻辑回归就可以完成了,但是当特征数变大时,高阶项将呈指数性增长,复杂度可想而知.如下图:对房屋进行高低档的分类,当特征值只有x1,x2,x3时,我们可以对它进行处理,分类.但是当特征数增长为x1,x2....x100时,分类器的效率就会很低了. Neural NetWork模型该图是最简单的神经网络,共有3层,输入层Layer1:隐藏层Layer2:输出层Layer3,每层都有多个激励函数ai(

【原】Andrew Ng斯坦福机器学习（5）——Lecture 5 Octave Tutorial—5.5 控制语句： for， while， if 语句

5.5 控制语句: for, while, if 语句参考视频: 5 - 5 - Control Statements_ for, while, if statements (13 min).mkv 1.for 循环通过 index 访问列向量 1 >> v = zeros(10,1) 2 v = 3 0 4 0 5 0 6 0 7 0 8 0 9 0 10 0 11 0 12 0 13 >> for i = 1 : 10, 14 v(i) = 2 ^ i; 15 end; 1

Ng第十七课：大规模机器学习(Large Scale Machine Learning)

17.1 大型数据集的学习 17.2 随机梯度下降法 17.3 微型批量梯度下降 17.4 随机梯度下降收敛 17.5 在线学习 17.6 映射化简和数据并行 17.1 大型数据集的学习 17.2 随机梯度下降法 17.3 微型批量梯度下降 17.4 随机梯度下降收敛 17.5 在线学习 17.6 映射化简和数据并行

（原创）Stanford Machine Learning (by Andrew NG) --- (week 10) Large Scale Machine Learning & Application Example

本栏目来源于Andrew NG老师讲解的Machine Learning课程,主要介绍大规模机器学习以及其应用.包括随机梯度下降法.维批量梯度下降法.梯度下降法的收敛.在线学习.map reduce以及应用实例:photo OCR.课程地址为:https://www.coursera.org/course/ml (一)大规模机器学习从前面的课程我们知道,如果我们的系统是high variance的,那么增加样本数会改善我们的系统,假设现在我们有100万个训练样本,可想而知,如果使用梯度下降法,