Coursera-AndrewNg(吴恩达)机器学习笔记——第一周

一.初识机器学习

  1. 何为机器学习?
    A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.
    理解:通过实验E,完成某一项任务T,利用评价标准P对实验结果进行迭代优化!
  2. 机器学习主要包括监督学习(supervised)和无监督学习(unsupervised),其他的还有增强学习,推荐系统(recommender systems)等。
  3. 监督学习是指实验数据当中有可参考的正确输出,通常包括回归问题和分类问题。
  4. 回归问题(regression problem)是指预测的值,也就是实验结果是连续的,有准确的数值。
    分类问题(classification problem)是指实验结果是离散的,不是一个准确的数值。
  5. 无监督学习指聚类问题,不同于分类。如鸡尾酒会算法,在鸡尾酒会中分辨出人的声音和会场的音乐。

二.单变量线性回归问题(Linear regression with one variable)

  1. 符号标记:m(训练集中样本的数量),X`s(输入变量/特征),Y`s(输出变量/目标变量),(x,y)表示一个训练样本。
  2. 问题背景:使用房屋面积预测房价!问题描述如下图:

    上图从上向下看,表示将训练集带入到学习算法当中,进过训练得到预测函数h;再从左向右看,将房屋面积带入预测函数,输出预测的房价。
  3. 单变量线性回归问题的预测函数可以表示为:hθ(x)=θ01*x(其实就是y=ax+b),其中的θi为模型参数。所以我们的任务就变成了,使用训练集进行训练,最后得到最佳的θi值,使得我们得到的预测函数hθ(x)最接近真正的预测函数。完成此任务的方法就叫做学习算法。

原文地址:https://www.cnblogs.com/LoganGo/p/8515354.html

时间: 2024-08-03 23:38:45

Coursera-AndrewNg(吴恩达)机器学习笔记——第一周的相关文章

Coursera-AndrewNg(吴恩达)机器学习笔记——第三周

一.逻辑回归问题(分类问题) 生活中存在着许多分类问题,如判断邮件是否为垃圾邮件:判断肿瘤是恶性还是良性等.机器学习中逻辑回归便是解决分类问题的一种方法.二分类:通常表示为y?{0,1},0:"Negative Class",1:"Possitive Class". 逻辑回归的预测函数表达式hθ(x)(hθ(x)>=0 && hθ(x)<=1): 其中g(z)被称为逻辑函数或者Sigmiod函数,其函数图形如下: 理解预测函数hθ(x)的

吴恩达机器学习笔记-第三周

六.逻辑回归 6.1 分类问题 对于二分类问题, 我们一般将结果分为0/1,在理解逻辑回归时可以引入感知机,感知机算是很早的分类器,但因为感知机是分布函数,也就是输出的值小于某一临界值,则分为-1,大于某一临界值,则分为1,但由于其在临界点处不连续,因此在数学上不好处理,而且感知机分类比较粗糙,无法处理线性不可分的情况,因此引入了逻辑回归,逻辑回归相当于用一个逻辑函数来处理回归的值,导致最终输出的值在[0, 1]范围内,输入范围是?∞→+∞,而值域光滑地分布于0和1之间. 小于0.5的分为0类,

吴恩达 Deep learning 第一周 深度学习概论

知识点 1. Relu(Rectified Liner Uints 整流线性单元)激活函数:max(0,z) 神经网络中常用ReLU激活函数,与机器学习课程里面提到的sigmoid激活函数相比有以下优点: 1.simoid激活函数具有饱和性,通常不适用simoid作为激活函数 2.ReLU的收敛速度更快 2.常见监督学习应用场景 3.结构化数据与非结构化数据 结构化数据,结构化的数据是指可以使用关系型数据库表示和存储,表现为二维形式的数据.一般特点是:数据以行为单位,一行数据表示一个实体的信息,

吴恩达机器学习第5周Neural Networks(Cost Function and Backpropagation)

5.1 Cost Function 假设训练样本为:{(x1),y(1)),(x(2),y(2)),...(x(m),y(m))} L  = total no.of layers in network sL= no,of units(not counting bias unit) in layer L K = number of output units/classes 如图所示的神经网络,L = 4,s1 = 3,s2 = 5,s3 = 5, s4 = 4 逻辑回归的代价函数: 神经网络的代价

吴恩达第二课第二周编程实例

吴恩达第2课第2周编程习题 目标:使用mini-batch来加快学习速度:比较梯度下降,momentum,adam的效果 核心:指数加权平均值得计算及其意义,它是momentum,RMSProp,Adam算法的基石 不足:本例程没有使用学习率衰减的步骤,同时本例程只适于3层的二分法的神经网络 常记点: 1. 偏差修正时是除以,此处是-,t从1开始: 2. L=len(parameters) //2 ,这个L不等于网络层数,range(1,L+1)=range(1,len(layers_dims)

【吴恩达机器学习】学习笔记——2.7第一个学习算法=线性回归+梯度下降

梯度下降算法: 线性回归模型: 线性假设: 平方差成本函数: 将各个公式代入,对θ0.θ1分别求偏导得: 再将偏导数代入梯度下降算法,就可以实现寻找局部最优解的过程了. 线性回归的成本函数总是一个凸函数,故梯度下降算法执行后只有一个最小值. "批"梯度下降:每一个步骤都使用所有的训练样本 原文地址:https://www.cnblogs.com/JJJanepp/p/8454834.html

吴恩达“机器学习”——学习笔记五

朴素贝叶斯算法(Naive Bayes)(续学习笔记四) 两个朴素贝叶斯的变化版本 x_i可以取多个值,即p(x_i|y)是符合多项式分布的,不是符合伯努利分布的.其他的与符合伯努利的情况一样.(同时也提供一种思路将连续型变量变成离散型的,比如说房间的面积可以进行离散分类,然后运用这个朴素贝叶斯算法的变形). 第二个朴素贝叶斯的变化形式专门用来处理文本文档,即对序列进行分类,被称为朴素贝叶斯的事件模型(event model).这将使用一种不同的方式将邮件转化为特征向量. 之前的特征向量是:向量

吴恩达“机器学习”——学习笔记二

定义一些名词 欠拟合(underfitting):数据中的某些成分未被捕获到,比如拟合结果是二次函数,结果才只拟合出了一次函数. 过拟合(overfitting):使用过量的特征集合,使模型过于复杂. 参数学习算法(parametric learning algorithms):用固定的参数进行数据的拟合.比如线性回归. 非参数学习算法(non-parametric learning algorithms):使用的参数随着训练样本的增多而增多. 局部加权回归(locally weighted r

吴恩达“机器学习”——学习笔记四

生成学习算法 判别算法:进行P(y|x)的计算或者是进行h(x)(其中h只会是0与1)的计算. 生成学习算法:进行P(x|y)的建模,即给定类的条件下,某种特征显示的结果.同时也会对P(y)进行建模. 根据贝叶斯公式,我们可以得到,其中p(x) = p(x|y = 1)p(y = 1) + p(x|y = 0)p(y = 0).实际上,如果我们计算P(y|x)进行预测,我们不必计算分母的值,因为x是独立于y的,所以argmax是当式子取到最大值时,对应参数的取值. 高斯判别分析 多元高斯分布 如