吴恩达机器学习105:和函数

一、

  1.在这节课中我们将补充一些缺失的细节,并且介绍一些在实际中应用这些思想,例如怎么处理支持向量机中的偏差分析。上节课我们谈到选择标记点的过程,比如l(1),l(2)和l(3)使我们能够定义相似度函数,我们也称之为核函数,在这个例子中,我们的相似度函数为高斯核函数,这使得我们能够构造一个预测函数,但是我们从哪里能够得到这些标记点呢?从哪里得到l(1),l(2)和l(3)呢?

在一些复杂问题中我们也许需要跟多的标记点,而不是我们这里选择的三个点,因此在实际的学习问题中,怎么选取标记点,我们的数据集中有一些正样本和负样本,我们的想法是将选取样本点,我们拥有的每一个样本点,只需要直接使用它们,直接将训练样本作为标记点,如果我们有一个这样的训练样本x1,那么我们将在这个样本相同的位置上选作我们的第一个标记点,我们还有另一个训练样本x2,那么第二个标记就在与第二个样本点一至的位置, 右图的蓝色标记可以用l(m)进行标记:

这个过程挺不错的,这说明特征函数基本上式描述每一个样本的距离样本中其他样本的距离,我们列出基本的过程的大纲为:给定m个训练样本,我们将选取m个训练样本完全一样的位置上基本一致的位置作为我的标记点,当给定样本x,样本x可以作为训练集也可以属于交叉验证集或者属于测试集,给定样本x,我们来计算这些特征比如f1,f2等等。这里的l(1)等于x1,然后给了我们一个特征向量,我们先把f写成特征向量,把f1,f2,f3...组成特征向量,按照惯例额外的特征f0一直让它等于1,那么这个东西和我们之前的一样,对于x0就是截距。

比如我们有一个训练样本(x(1),y(i)),我们对这个样本要计算的特征是这样的:给定x(i)我们将其映射到f1(i),即,类似的f2(i)等于x(i)和f(2)之间的相似度,其他的相似度函数类似如下:

  在这个映射列表中第i个元素,实际上有一个特征元素写作为fi(i),这是x(i)和l(i)之间的相似度,这里的l(i)就等于x(i),fi(i)

  

原文地址:https://www.cnblogs.com/bigdata-stone/p/10348248.html

时间: 2024-11-10 09:05:38

吴恩达机器学习105:和函数的相关文章

吴恩达机器学习_46分类/47假设函数/48决策边界

Logistic 回归 一.Classification(分类) 0:负类,表示“没有”,如良性肿瘤 1:正类,表示“有”,如恶性肿瘤 将线性回归应用于分类问题并不是最好的,接下来介绍logistic回归算法,这是一种分类算法,被用于y等于离散值0和1的情况下. 二.假设函数 在logistic回归模型中,我们希望0<=hθ(x)<=1,hθ(x) = g(θTx),因此hθ(x) = 1/(1+e-θTx) g(z) = 1/(1+e-z),从图像可以看出,g(z)的值在0-1之间 三.决策

吴恩达机器学习4

逻辑回归 逻辑回归是一种用来解决当输出的y全部都是1或者0这种监督学习的机器学习算法.其目标就是最小化预测值和训练集之间的错误. 举个栗子:猫和没有猫 通过以向量x形式给出的一张图片,我们的目标就是判断这张图片中有没有猫 给x,y'=P(y=1|x)  其中 0<=y'<=1 在逻辑回归中我们所需要利用的参数有: 1.输入特征向量:x∈Rnx,其中nx表示特征的数目 2.训练的集合:y∈0,1 3.权值 :W∈Rnx,其中nx表示特征的数目 4.偏值:b∈R 5.输出:y∈σ(WTx+b) 6

Coursera-AndrewNg(吴恩达)机器学习笔记——第一周

一.初识机器学习 何为机器学习?A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.理解:通过实验E,完成某一项任务T,利用评价标准P对实验结果进行迭代优化! 机器学习主要包括监督学习

Coursera-AndrewNg(吴恩达)机器学习笔记——第三周

一.逻辑回归问题(分类问题) 生活中存在着许多分类问题,如判断邮件是否为垃圾邮件:判断肿瘤是恶性还是良性等.机器学习中逻辑回归便是解决分类问题的一种方法.二分类:通常表示为y?{0,1},0:"Negative Class",1:"Possitive Class". 逻辑回归的预测函数表达式hθ(x)(hθ(x)>=0 && hθ(x)<=1): 其中g(z)被称为逻辑函数或者Sigmiod函数,其函数图形如下: 理解预测函数hθ(x)的

吴恩达机器学习笔记-第三周

六.逻辑回归 6.1 分类问题 对于二分类问题, 我们一般将结果分为0/1,在理解逻辑回归时可以引入感知机,感知机算是很早的分类器,但因为感知机是分布函数,也就是输出的值小于某一临界值,则分为-1,大于某一临界值,则分为1,但由于其在临界点处不连续,因此在数学上不好处理,而且感知机分类比较粗糙,无法处理线性不可分的情况,因此引入了逻辑回归,逻辑回归相当于用一个逻辑函数来处理回归的值,导致最终输出的值在[0, 1]范围内,输入范围是?∞→+∞,而值域光滑地分布于0和1之间. 小于0.5的分为0类,

吴恩达机器学习3

二分分类 在一个二分分类的问题中间,结果总是离散输出的 比如:账户被黑客入侵(1)或者被盗(0):肿瘤是恶性的(1)还是良性的(0) 举个例子:是不是一个猫 目标是训练分类器,其中输入是一张图片所产生的特征向量,并且预测相应的标签是1还是0.在这种情况下,如果是1则表明是猫的图像,0则表示不是猫的图像 通常情况下,一张图片在电脑里面被存为三色素:红,绿和蓝.这三种颜色分别产生了三个矩阵,这三个矩阵拥有相同的大小.比如说,如果一张图片的大小为64*64,则三个矩阵的大小都是64*64 单元格中的值

吴恩达“机器学习”——学习笔记二

定义一些名词 欠拟合(underfitting):数据中的某些成分未被捕获到,比如拟合结果是二次函数,结果才只拟合出了一次函数. 过拟合(overfitting):使用过量的特征集合,使模型过于复杂. 参数学习算法(parametric learning algorithms):用固定的参数进行数据的拟合.比如线性回归. 非参数学习算法(non-parametric learning algorithms):使用的参数随着训练样本的增多而增多. 局部加权回归(locally weighted r

吴恩达“机器学习”——学习笔记四

生成学习算法 判别算法:进行P(y|x)的计算或者是进行h(x)(其中h只会是0与1)的计算. 生成学习算法:进行P(x|y)的建模,即给定类的条件下,某种特征显示的结果.同时也会对P(y)进行建模. 根据贝叶斯公式,我们可以得到,其中p(x) = p(x|y = 1)p(y = 1) + p(x|y = 0)p(y = 0).实际上,如果我们计算P(y|x)进行预测,我们不必计算分母的值,因为x是独立于y的,所以argmax是当式子取到最大值时,对应参数的取值. 高斯判别分析 多元高斯分布 如

吴恩达“机器学习”——学习笔记五

朴素贝叶斯算法(Naive Bayes)(续学习笔记四) 两个朴素贝叶斯的变化版本 x_i可以取多个值,即p(x_i|y)是符合多项式分布的,不是符合伯努利分布的.其他的与符合伯努利的情况一样.(同时也提供一种思路将连续型变量变成离散型的,比如说房间的面积可以进行离散分类,然后运用这个朴素贝叶斯算法的变形). 第二个朴素贝叶斯的变化形式专门用来处理文本文档,即对序列进行分类,被称为朴素贝叶斯的事件模型(event model).这将使用一种不同的方式将邮件转化为特征向量. 之前的特征向量是:向量