吴恩达-机器学习+正则化regularization

一.逻辑回归问题(分类问题) 生活中存在着许多分类问题,如判断邮件是否为垃圾邮件:判断肿瘤是恶性还是良性等.机器学习中逻辑回归便是解决分类问题的一种方法.二分类:通常表示为y?{0,1},0:"Negative Class",1:"Possitive Class". 逻辑回归的预测函数表达式hθ(x)(hθ(x)>=0 && hθ(x)<=1): 其中g(z)被称为逻辑函数或者Sigmiod函数,其函数图形如下: 理解预测函数hθ(x)的

六.逻辑回归 6.1 分类问题 对于二分类问题, 我们一般将结果分为0/1,在理解逻辑回归时可以引入感知机,感知机算是很早的分类器,但因为感知机是分布函数,也就是输出的值小于某一临界值,则分为-1,大于某一临界值,则分为1,但由于其在临界点处不连续,因此在数学上不好处理,而且感知机分类比较粗糙,无法处理线性不可分的情况,因此引入了逻辑回归,逻辑回归相当于用一个逻辑函数来处理回归的值,导致最终输出的值在[0, 1]范围内,输入范围是?∞→+∞,而值域光滑地分布于0和1之间. 小于0.5的分为0类,

二分分类 在一个二分分类的问题中间,结果总是离散输出的 比如:账户被黑客入侵(1)或者被盗(0):肿瘤是恶性的(1)还是良性的(0) 举个例子:是不是一个猫 目标是训练分类器,其中输入是一张图片所产生的特征向量,并且预测相应的标签是1还是0.在这种情况下,如果是1则表明是猫的图像,0则表示不是猫的图像 通常情况下,一张图片在电脑里面被存为三色素:红,绿和蓝.这三种颜色分别产生了三个矩阵,这三个矩阵拥有相同的大小.比如说,如果一张图片的大小为64*64,则三个矩阵的大小都是64*64 单元格中的值

逻辑回归 逻辑回归是一种用来解决当输出的y全部都是1或者0这种监督学习的机器学习算法.其目标就是最小化预测值和训练集之间的错误. 举个栗子:猫和没有猫 通过以向量x形式给出的一张图片,我们的目标就是判断这张图片中有没有猫 给x,y'=P(y=1|x)  其中 0<=y'<=1 在逻辑回归中我们所需要利用的参数有: 1.输入特征向量:x∈Rnx,其中nx表示特征的数目 2.训练的集合:y∈0,1 3.权值 :W∈Rnx,其中nx表示特征的数目 4.偏值:b∈R 5.输出:y∈σ(WTx+b) 6

1 回顾1.1 监督学习定义:给定正确答案的机器学习算法分类:(1)回归算法:预测连续值的输出,如房价的预测(2)分类算法:离散值的输出,如判断患病是否为某种癌症1.2 非监督学习定义:不给定数据的信息的情况下,分析数据之间的关系.聚类算法:将数据集中属性相似的数据点划分为一类. 2 单变量线性回归算法2.1 符号定义m = 训练样本的数量x = 输入变量y = 输出变量2.2 工作方式训练集通过学习算法生成线性回归函数hypothesis  hθ(x) = θ0 + θ1x 原文地址:http

一.初识机器学习 何为机器学习?A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.理解:通过实验E,完成某一项任务T,利用评价标准P对实验结果进行迭代优化! 机器学习主要包括监督学习

定义 Tom Mitchell对机器学习定义为"计算机从经验E中学习,解决某一任务T,进行某一度量P,通过P测定在T上的表现因经验E而提高".定义个人觉得大体理解即可,如果扣文咬字去理解会十分痛苦,就不做过多解释了. 原文:A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its perform

一.简介 0.example:假设你要对房价进行预测,横轴是不同房屋的平方英尺数,纵轴是不同房子的价格,单位是千美元.那么现在有了这些数据,假设你现在有一栋150平方英尺的房子,你想把这个房子卖掉,想知道能卖多少钱.那么什么样的学习算法能帮到你呢? 学习算法能做的一件事就是根据数据画一条直线来拟合数据,如下图,基于此看上去,房子大约可以卖15万美元 但这可能不是你可以唯一使用的学习算法,可以有一个更好的算法,除了用直线来进行拟合数据,可以使用二次函数或者二阶多项式,来拟合数据会更好,如果此时在这

1.下面是支持向量机(SVM)的代价函数: 上图左边是cost1(z)函数,用于正样本,右边画出了关于z的代价函数cost0(z),函数的横轴是z,现在我们想一下怎么样才能使得这些代价函数变得更小呢?当有一个正样本的时候,y=1,那么仅当z大于等于1的时候,cost1(z)=0,换句话说,如果有一个正样本的时候,我们要θ的转置乘以x大于等于1,反之,如果y=0,我们看后面这一部分.上述就是支持向量机很有趣的性质.这相当于在SVM中建立构建一个安全因子,一个安全距离 (1)如果有个正样本,比如y=